WO2023276252A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2023276252A1
WO2023276252A1 PCT/JP2022/006694 JP2022006694W WO2023276252A1 WO 2023276252 A1 WO2023276252 A1 WO 2023276252A1 JP 2022006694 W JP2022006694 W JP 2022006694W WO 2023276252 A1 WO2023276252 A1 WO 2023276252A1
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
performer
virtual space
spectator
audience
Prior art date
Application number
PCT/JP2022/006694
Other languages
English (en)
French (fr)
Inventor
澄美 伊藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280044623.1A priority Critical patent/CN117546458A/zh
Priority to EP22832419.0A priority patent/EP4366293A1/en
Priority to JP2023531380A priority patent/JPWO2023276252A1/ja
Publication of WO2023276252A1 publication Critical patent/WO2023276252A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • a virtual live in a virtual space where many people can access at the same time, it is possible to perform live in a situation where the artist (performer) and the audience are not in the same place.
  • an audience avatar representing an audience and an avatar representing an artist (performer avatar) are placed in the virtual space, and the audience recognizes the performer avatar placed in the virtual space as an artist.
  • the performer avatar is moved in synchronization with the actual movement of the artist in the studio or the like.
  • artists and audiences can share the same space. Taking advantage of this advantage, artists can see and react to users (user avatars) at each venue, and interact with artists and audiences. It would be good if there was a mechanism to realize natural interaction.
  • the present disclosure has been made in view of the problems described above, and aims to realize natural interaction between the performer and the audience via virtual space.
  • An information processing apparatus includes a presentation unit that presents an image representing a group of audience avatars placed in at least one virtual space in a display area visible to a performer corresponding to the performer avatar placed in the virtual space. and a control unit that controls the performer avatar in the at least one virtual space based on the performer's action with respect to the audience avatar group represented in the image presented in the display area.
  • the information processing method of the present disclosure presents an image representing a group of audience avatars placed in at least one virtual space in a display area visible to a performer corresponding to the performer avatar placed in the virtual space, and The performer avatar in the at least one virtual space is controlled based on the performer's actions relative to the audience avatars represented in the images presented in the region.
  • a computer program presents an image representing a group of audience avatars placed in at least one virtual space in a display area visible to a performer corresponding to a performer avatar placed in the virtual space; and controlling the performer avatar in the at least one virtual space based on the performer's actions with respect to the audience avatars represented in the image presented in the display area.
  • FIG. 1 is a block diagram of an information processing device according to the present disclosure
  • FIG. 4 is a diagram showing an example of a presentation unit according to an embodiment of the present disclosure; The figure which shows the state of the expansion
  • the figure which shows a mode that a performer's avatar reflects a performer's movement.
  • FIG. 11 is a diagram showing an interaction action of a performer and a performer avatar; A diagram of the performer's avatar as seen from the audience.
  • FIG. 10 is a diagram showing a performer avatar viewed from a spectator avatar in a virtual space that is not the target of an interaction action; 4 is a flowchart for explaining an example of the flow of processing of an information processing apparatus according to an embodiment of the present disclosure; 4 is a flowchart for explaining an example of the flow of motion editing processing of the information processing device according to the embodiment of the present disclosure; 15 is a flowchart for explaining a modification of FIG.
  • FIG. 14; 4 is a flowchart for explaining the flow of processing for editing the motion of a performer's avatar according to the attributes of the virtual space;
  • FIG. 18 is a diagram showing an example of display of the virtual space.
  • FIG. 2 is a diagram showing an example of a hardware configuration of a computer that executes a series of processes of the information processing apparatus of the present disclosure by means of a program;
  • FIG. 1 is a block diagram of an information processing system 100 according to an embodiment of the present disclosure.
  • the information processing system 100 includes a performer-side device 300 and an audience-side device 400 as information processing devices according to this embodiment.
  • the performer-side device 300 includes a motion acquisition unit 310, a line-of-sight acquisition unit 320, a first positional relationship calculation unit 330, a second positional relationship calculation unit 340, a motion editing unit 350, and video data generation. It includes a unit 360 , a data distribution unit 370 , a data reception unit 380 , an audience video synthesis unit 390 and a presentation unit 200 .
  • the control unit includes a motion acquisition unit 310, a line-of-sight acquisition unit 320, a first positional relationship calculation unit 330, a second positional relationship calculation unit 340, a motion editing unit 350, and a video data generation unit 360. , a data distribution unit 370 , a data reception unit 380 , and an audience video synthesis unit 390 .
  • the spectator-side device 400 includes a data reception unit 410 , an audience presentation unit 420 , an audience video generation unit 430 , and an audience-side transmission unit 440 . Although only one spectator-side device 400 is shown, there are actually a plurality of spectator-side devices 400 depending on the number of spectators, the number of spectator groups, or the number of virtual spaces. For example, there may be a spectator-side device 400 for each spectator.
  • a performer avatar corresponding to the performer and a spectator avatar corresponding to the audience are arranged in a venue, which is a virtual space.
  • the performer avatar is an object that is placed in a virtual space and reflects the movements of the performer.
  • the virtual space and the actor's avatar will be described below.
  • a venue for live performances is set up, and the venue includes a performer avatar, a group of audience avatars that are aggregates of the audience avatars, a stage that is a stage on which the performer avatars perform, and each audience avatar. Audience seats are arranged to watch the avatar of the performer on the stage.
  • One or more virtual spaces are provided, and a venue is set up for each virtual space.
  • Attribute information may be set for each virtual space.
  • the attribute information of the virtual space may be, for example, the attributes of the spectator avatar group placed in the virtual space (language used by the spectator group, place of residence, etc.).
  • services or operations may be performed according to the attribute information of the virtual space.
  • the language uttered by the performer may be converted into the language indicated by the attribute information of the virtual space.
  • the spectator may select a virtual space having desired attribute information and participate in a live performance in the selected virtual space.
  • FIG. 2 is a diagram showing a shooting environment for shooting the motion of the performer 10 and generating a three-dimensional model.
  • FIG. 3 is a diagram illustrating modeling for creating the three-dimensional model 12 from acquired motions.
  • FIG. 4 is a diagram showing an example of displaying the created three-dimensional model 12 as the actor's avatar 11. As shown in FIG.
  • an actor 10 performs a live performance in a shooting environment.
  • the camera 321 images the performer 10 at a constant sampling rate.
  • a single camera 321 may be used, or a plurality of cameras may be used as shown in FIG. 2 in order to capture images of the performer from various angles.
  • a display unit (presentation unit 200 in FIG. 1) for displaying an image of the audience avatar group in the virtual space is arranged in front of or around the performer 10 . This allows the performer 10 to perform while watching the situation of the audience avatar group at each venue.
  • a microphone may be arranged in the imaging environment of FIG. 2 (for example, the performer 10 may have a microphone) to collect the voice of the performer 10 at a constant sampling rate.
  • an object converted into 3D data is generated as a 3D model 12 as shown in FIG.
  • the Visual Hull method or the like can be used to generate the three-dimensional model.
  • the performer's avatar 11 can be displayed on the audience side device (spectator presentation unit 420) as shown in FIG.
  • the performer avatar 11 may be transmitted to audience devices by rendering the three-dimensional model 12 as video data.
  • the motion data may be sent to a spectator-side device, and the performer avatar 11 may be rendered on the spectator-side device.
  • the actor avatar 11 can be played back on the display 401 as shown in FIG. 4(a) or played back on the head mounted display 402 as shown in FIG. 4(b).
  • the performer avatar 11 is presented to the audience corresponding to the audience avatar.
  • the display 401 of FIG. 4(a) can be viewed by a single spectator or multiple spectators (spectator group).
  • a head mounted display 402 is provided for each spectator.
  • the voice data is transmitted to the device on the audience side together with the rendering data or motion data of the performer's avatar 11, and the voice is output in synchronization with the movement of the performer's avatar 11.
  • the spectator-side device 400 can be either a viewing device for each spectator or a common viewing device for a group of spectators (spectator group). Any viewing device such as an HMD, monitor, TV, or PC may be used. In the following description, it is assumed that the spectator-side device 400 is a viewing device for each spectator. However, in a situation where a group of spectators in each virtual space views the same display at the same time, one spectator-side device 400 may be provided in common for each group of spectators in each virtual space.
  • the spectator video generation unit 430 generates a video (image) representing the spectator avatar in the virtual space.
  • the spectator video generation unit 430 may use, for example, a video obtained by photographing a part of the body (for example, face) of the spectator viewing the spectator-side device 400 as the video representing the spectator avatar.
  • the spectator image generator 430 may generate an image representing the spectator avatar by rendering the spectator avatar in the virtual space.
  • the image representing the spectator avatar is, for example, the spectator's point of view (the point of view of the virtual camera in the virtual space) directed toward the position of the actor's avatar in the virtual space. That is, an image of the audience avatar seen from the performer avatar is generated.
  • the video (image) representing the spectator avatar in this way may be an image of the spectator himself or an image of the spectator avatar (a character selected by the spectator).
  • the audience-side transmission unit 440 transmits the video (image) representing the audience avatar generated by the audience video generation unit 430 to the performer-side device 300 .
  • the data receiving unit 380 of the performer's device 300 receives the video representing the audience avatar from each audience device 400 .
  • the audience-side transmission unit 440 is connected to the performer-side device 300 via a wired or wireless network.
  • a wired or wireless network includes the Internet, a cellular communication network, a wireless LAN (Local Area Network), or the like.
  • the audience video synthesizing unit 390 in the performer-side device 300 synthesizes the video (image) representing the audience avatar received by the data receiving unit 380 and causes the presentation unit 200 to display the synthesized video (image).
  • the presentation unit 200 displays the video synthesized by the audience video synthesis unit 390 in a display area visible to the performer. As a result, an image representing the spectator avatar in each virtual space (for example, an image of the spectator corresponding to the spectator avatar or an image of the character selected by the spectator) is displayed so as to be visible to the performer.
  • the presentation unit 200 is arranged in front of the performer 10 in the studio, for example.
  • the presentation unit 200 is, for example, a display device such as a liquid crystal display device or an organic EL display device, and in this case, the display area is the screen of the display device.
  • the presentation unit 200 may include a plurality of displays corresponding to a plurality of display areas, or one display may be divided into a plurality of display areas.
  • the presentation unit 200 may be a device that displays an image in an actual space (spatial image display device), and in this case, the display area is a partial area of the space where the image is displayed. Also, the presentation unit 200 may be a projector that projects an image onto a screen, and in this case, the display area is a projection area onto which the image of the projector is projected.
  • FIG. 5 shows an example of a group of audience avatars presented (displayed) by the presentation unit 200.
  • FIG. 5 it is assumed that live performances are performed simultaneously in four virtual spaces (virtual spaces 500_1, 500_2, 500_3, and 500_4, respectively).
  • a group of audience avatars in each venue in each virtual space is displayed in a different display area. More details are as follows.
  • the presentation unit 200 shown in FIG. 5 has four tile-shaped display areas, and each display area corresponds to each of the four virtual spaces.
  • Each display area displays a rectangular image including a group of audience avatars in the virtual space.
  • Audience avatar group 510_1 corresponding to virtual space 500_1 in the upper right display area
  • audience avatar group 510_2 corresponding to virtual space 500_2 in the upper left display area
  • audience avatar group 510_3 corresponding to virtual space 500_3 in the lower right display area
  • a spectator avatar group 510_4 corresponding to the virtual space 500_4 is displayed in the display area of .
  • a performer 10 existing in an actual physical space recognizes the audience group corresponding to the audience avatar group 510_1 to 510_4 through the images of the audience avatar group 510_1 to 510_4 presented in each display area. be able to.
  • any spectator avatar or spectator avatar group may be referred to as spectator avatar 510 or spectator avatar group 510 .
  • any method may be used by the spectator video synthesizing unit 390 to synthesize the video (image) representing the spectator avatar for each virtual space.
  • the image of the audience avatar in the virtual space may be arranged at random positions within the display area corresponding to the virtual space.
  • the image of the spectator avatar may be compressed and displayed in a rectangular display area while maintaining the relative positional relationship of the spectator avatar in the virtual space.
  • they may be synthesized by a method shown in FIG. 6, which will be described below.
  • FIG. 6 is a diagram showing an example of a synthesis method.
  • Stages 520 (520_1, 520_2, 520_3, 520_4) and audience seats 530 (530_1, 530_2, 530_3, 530_4) are provided in four virtual spaces 500 (500_1, 500_2, 500_3, 500_4). Illustrations of performer avatars on the stage 520 and audience avatars in the audience seats are omitted.
  • the audience seats 530 (530_1, 530_2, 530_3, 530_4) can be cut at appropriate positions and developed into rectangles 531_1, 531_2, 531_3, 531_4 as shown in FIG.
  • the images representing the spectator avatars are synthesized.
  • the line-of-sight acquisition unit 320 acquires line-of-sight information of the performer 10 viewing the display area of the presentation unit 200 .
  • the line-of-sight direction may be identified based on matching between a camera that captures the eyes of the performer and a plurality of prepared eye images.
  • the presentation unit 210 is the display unit of the HMD
  • the center of the image presented on the display unit of the HMD may be regarded as the line-of-sight direction.
  • the line-of-sight acquisition unit 320 detects which spectator avatar or group of spectator avatars the performer 10 is gazing at based on the acquired line-of-sight information. For example, when four audience avatar groups included in four virtual spaces are presented in respective display areas, which audience avatar group or which audience avatar among which audience avatar groups the performer 10 is gazing at. to detect One or more spectator avatars may be gazed at. One or a plurality of spectator avatar groups may be watched. Alternatively, the line-of-sight acquisition unit 320 may detect which virtual space the user is gazing at among the four virtual spaces. A group of audience avatars gazed at by a performer may extend over a plurality of virtual spaces. The at least one spectator avatar that the performer gazes at corresponds to the first spectator avatar according to the present disclosure.
  • the line-of-sight acquisition unit 320 provides the motion editing unit 350 and the presentation unit 200 with information that specifies the audience avatar or audience avatar group that the performer is gazing at (gazing audience information).
  • the line-of-sight acquisition unit 320 may provide the line-of-sight information of the performer 10 to the motion editing unit 350 .
  • the presentation unit 200 acquires information (gazing audience information) indicating the audience avatar or audience avatar group that the performer 10 is gazing at from the line-of-sight acquisition unit 320, and emphasizes the gazed audience or audience group in the display area. may be displayed. For example, the color of the spectator or group of spectators being watched may be changed, and the spectator or group of spectators may be surrounded by a thick line (see FIG. 8 described below). Alternatively, the spectators who are not paying attention (non-gazing audience group) may be blurred and displayed.
  • the motion acquisition unit 310 in the performer-side device 300 acquires the performer's movement information (motion information).
  • Motion information also includes performer position information.
  • the motion acquisition unit 310 acquires motion information of the performer 10 based on image data of the performer 10 captured by the camera 321 .
  • the motion acquisition unit 310 may acquire position information from one or more sensors attached to the body of the performer, and acquire motion information of the performer based on the acquired position information.
  • the motion acquisition unit 310 provides the acquired motion information to the first positional relationship calculation unit 330 and the motion editing unit 350 .
  • the first positional relationship calculation unit 330 calculates the positional relationship between the performer 10 and the audience avatar or the audience avatar group shown in the image (video) presented by the presentation unit 200, that is, the positional relationship of the performer's viewpoint (first positional relationship). Calculation of the positional relationship is performed, for example, by motion information (including position information) of the performer 10, position information of the presentation unit 200 (for example, the position and height of the display), and the audience avatar in the display area of the presentation unit 200. Alternatively, it is performed based on the positional information of the audience avatar group.
  • the first positional relationship includes, for example, information about which direction of the vector from the position of the performer 10 is the audience avatar or the audience avatar group that the performer 10 gazes at in the image presented in the display area.
  • the reference position of the performer 10 may be a predetermined position of the performer's body (such as the eyes or the center of gravity), or may be a position determined by other methods.
  • the positional relationship between the performer 10 and the audience avatar presented in the display area does not necessarily match the positional relationship between the performer avatar 11 and the audience avatar.
  • a certain spectator avatar in the upper left display area of FIG. Therefore, when the movement of the performer 10 is reflected in the performer avatar 11, the positional relationship (first positional relationship) between the performer 10 and the spectator avatar presented in the display area is required to achieve natural interaction with the audience. need to consider.
  • the first positional relationship calculation unit 330 transmits information indicating the calculated positional relationship between the performer 10 and the audience avatar (positional relationship information from the performer's viewpoint) to the motion editing unit 350 .
  • the second positional relation calculation unit 340 calculates the positional relation between the performer avatar 11 and the spectator avatar 510 as seen from the spectator avatar 510 (or the spectator), that is, the positional relation of the spectator's viewpoint (second positional relation).
  • the audience transmitter 440 of each audience device transmits the position information of the audience avatar in the virtual space
  • the data receiver 380 of the performer device 300 receives the position information.
  • the second positional relationship calculator 340 calculates the positional relationship (second positional relationship) between the performer avatar and the audience avatar at each audience viewpoint.
  • the position of the spectator avatar 510 may be any position as long as the position of the spectator avatar 510 can be specified.
  • the position of spectator avatar 510 may be the position of a virtual camera in virtual space.
  • the positional relationship between the performer 10 and the audience avatar presented in the display area is not necessarily the same as the positional relationship between the performer avatar 11 and the audience avatar in the virtual space. Therefore, when the movement of the performer 10 is reflected in the performer avatar 11, the positional relationship (second positional relationship) between the performer 10 and the spectator avatar 510 in the virtual space is taken into consideration in order to realize natural interaction with the audience. There is a need.
  • the second positional relationship calculation unit 340 provides the motion editing unit 350 with information indicating the calculated positional relationship between the performer avatar 11 and the audience avatar in the virtual space (positional relationship information from the audience's point of view).
  • the motion editing unit 350 edits the motion information (motion information) of the actual performer's avatar 11 based on the movements of the performer 10 and outputs it as the content 12 .
  • the motion editing unit 350 receives the performer's point of view positional relationship information, the audience's point of view positional relationship information, the performer's motion information, and the performer's attention audience information, and edits the performer's motion information. Editing of motion information is performed, for example, for each spectator or for each spectator group (for each virtual section).
  • each coordinate system is associated between the real space where the performer exists and the virtual space where the performer's avatar exists.
  • a vector corresponding to the vector of is specified in the virtual space.
  • the player avatar in the virtual space faces the direction of the specified vector.
  • the movement of the performer in the motion information is edited by the difference between the direction (angle) in which the performer avatar faces and the direction (angle) in which the audience avatar exists as seen from the performer avatar in the virtual space.
  • the angles of the performer's face, arms, or legs are rotated according to the difference.
  • the performer avatar is arranged so that the actor avatar is watching the spectator avatar A.
  • Avatar motion information is edited.
  • a screen object (such as a back screen) showing the state of the virtual space where the audience avatar A exists in another virtual space is arranged, and the performer avatar in the other virtual space is displayed on the screen object or screen object.
  • the actor's motion information for other virtual spaces may be edited so that the actor looks at the audience avatar A.
  • the motion editing unit 350 may edit the motion information according to the attribute information of the virtual space, for example, the culture of the language zone. For example, if the performer performs a beckoning action by bending the wrist with the palm facing down, the motion information is changed to the action of bending the wrist with the palm facing up for a certain specific attribute information virtual space. good too.
  • the video data generating unit 360 Based on the motion information edited by the motion editing unit 350, the video data generating unit 360 generates data of the performer avatar (performer object) to be provided to the audience device.
  • Data of the performer's avatar is, for example, generated by generating the three-dimensional object (or two-dimensional object) described in FIGS. 2 to 4, and rendering the generated three-dimensional object (or two-dimensional object) as image data.
  • the audience device 400 reproduces the actor's avatar as a video based on the rendering data.
  • the performer avatar data may be edited motion information.
  • the audience-side device applies the edited motion information to the performer avatar, and the performer avatar is moved according to the edited motion information.
  • the rendering data of the 3D object is the data of the actor's avatar.
  • the data distribution unit 370 transmits the performer object data generated by the video data generation unit 360 to the audience device 400 .
  • the data delivery unit 370 is connected to the audience device 400 via a wired or wireless network.
  • a wired or wireless network includes the Internet, a cellular communication network, a wireless LAN (Local Area Network), or the like.
  • the data receiving unit 410 of the audience device 400 receives data of the performer object distributed from the performer device 300 .
  • the data reception section 410 provides the received data to the audience presentation section 420 .
  • the audience presentation unit 420 displays a video showing the virtual space and objects in the virtual space (performer avatars, audience objects, various objects in the live venue, etc.).
  • the spectator's own object (spectator avatar) wearing or viewing the spectator-side device 400 there are both configurations in which the spectator avatar is not displayed and in which the spectator avatar is displayed.
  • the spectator presentation unit 420 generates an image showing the state of the virtual space 500 from the viewpoint of the virtual camera based on the spectator's virtual camera set in the virtual space.
  • a virtual camera is set, for example, at the head of the audience avatar (for example, at the position of the eyes).
  • the generated images including performer avatars, other audience avatars, stage, audience seats, etc.) are visually recognized by the audience.
  • FIG. 7 is a diagram showing how the actor's avatar 11 (11_1 to 11_4) in the virtual space 500 (500_1 to 500_4) moves according to the movement of the actor 10 in the real space.
  • the virtual space 500_1 to 500_4 there are performer avatars 11_1 to 11_4, stages 520_1 to 520_4 on which the performer avatars 11_1 to 11_4 perform, and audience seats 530 (530_1 to 530_4) which are spaces for the audience avatars to watch the performer avatars. included.
  • the performer avatars 11_1 to 11_4 follow the movements of the performer 10 and perform the same actions as the performer 10 in the virtual space 500 .
  • the actor 10 raises his left arm as shown in FIG. 7, the actor avatar 11 also raises his left arm in conjunction with this action. In this example, motion information is not edited.
  • FIG. 8(a) shows an example in which the performer 10 looks at a spectator avatar 511_1 among the spectator avatars in a certain virtual space and makes a hand-waving motion.
  • the spectator avatar 511_1 is surrounded by a thick line or painted in a specific color, so that the performer 10 can easily recognize that it is the spectator avatar being watched.
  • the direction of the line of sight of the performer 10 is the direction D1.
  • FIG. 8(b) shows the performer avatar 11_1 and the audience avatar group in the virtual space where the audience avatar 511_1 exists.
  • the spectator avatar group includes a spectator avatar 511_1 and other spectator avatars 511_2.
  • the performer avatar 11_1 waves its hand while looking in the direction D1.
  • the performer avatar 11_1 appears to wave in a different direction from the audience avatar 511_1.
  • motion information is edited according to the difference (angle difference) ⁇ between the direction in which the performer avatar 11_1 looks and the direction in which the audience avatar 511_1 exists.
  • the performer avatar 11_1 looks at the spectator avatar 511_1 and makes a wave motion.
  • a spectator corresponding to the spectator avatar 511_1 looks like the performer avatar 11_1 is waving to him.
  • the spectator corresponding to the spectator avatar 511_2 looks like the performer avatar 11_1 is waving at the spectator avatar 511_1. It should be noted that a configuration is also possible in which the motion information is not corrected for the spectator avatar 512_1.
  • FIG. 9(a) shows an example of the performer avatar 11_1 seen from the audience avatar 511_1 when the motion information is not edited.
  • the performer avatar 11_1 is waving while looking in a different direction from the audience avatar 511_1.
  • FIG. 9(b) shows an example in which the performer avatar 11_1 is seen from the audience avatar 511_1 as a result of editing the motion information.
  • the performer avatar 11_1 is waving at the audience avatar 511_1.
  • the other spectator avatar 511_2 (see FIG. 8(b)) also looks like the performer avatar 11_1 is waving at the spectator avatar 511_1.
  • FIG. 10 is a diagram explaining the field of view of the spectator avatar 511_1 and the spectator avatar 511_2.
  • FIG. 10(a) shows the state in the virtual space 500_1.
  • FIG. 10(b) shows the field of view of the spectator avatar 511_1,
  • FIG. 10(c) shows the field of view of the spectator avatar 511_2.
  • the spectator avatar 511_1 can see the spectator avatar 512_1 in the right direction with respect to the direction facing the performer avatar 11_1.
  • the spectator avatar 512_1 can be seen in the left direction with respect to the direction facing the performer avatar 11_1.
  • the audience avatar can see the performer avatar 11_1 from the front at any position on the audience seat 530_1, and the positional relationship with other audience members is maintained.
  • the motion editing unit 350 may switch whether or not to edit the motion information (correct the motion of the actor's avatar) according to the angle difference ⁇ (see FIG. 8 or 9). Specifically, when the angle difference ⁇ is equal to or less than the threshold, the motion information is edited (the action of the actor's avatar is corrected) as shown in FIG. 8B or 9B. When the angle difference .theta. is larger than the threshold value, the motion information is not edited (the motion of the performer's avatar is not corrected) because the motion will be unnatural.
  • the performer 10 is gazing at the spectator avatar 511_1 in the spectator avatar group 510_1 in the virtual space 500_1 corresponding to the upper right display region among the plurality of display regions presented on the presentation unit 200 and waving his hand. Show action.
  • FIG. 12A shows an example of correcting the action of the actor avatar 11_1 in the virtual space 500_1 in which the audience avatar 511_1 exists. Since this example is the same as the above-described FIG. 9(b), the explanation is omitted.
  • FIG. 12B shows an example of correcting the motion of the actor's avatar 11_2 in a virtual space (assumed to be a virtual space 500_2) other than the virtual space 500_1.
  • a spectator avatar 511_2 is an arbitrary spectator avatar in the virtual space 500_2.
  • screen objects (such as back screens) 551, 553, and 554 representing the states in the other virtual spaces 500_1, 500_3, and 500_4 are arranged.
  • Audience avatar groups 510_1, 510_3, and 510_4 in 500_1, 500_3, and 500_4 are displayed on screen objects 551, 553, and 554, respectively.
  • the motion information of the performer is edited (the action of the performer avatar 11_2 is corrected) so that the performer avatar 11_2 looks at the screen object 551 including the spectator avatar 511_1 that the performer is gazing at and makes a wave motion. That is, based on the positional relationship (third positional relationship) between the actor avatar 11_2 and the screen object 551, the actor's motion information is edited (the action of the actor's avatar 11_2 is corrected).
  • the motion information of the performer is edited (the action of the performer avatar 11_2 is corrected) such that the performer avatar 511_1 in the screen object 551 is seen and the performer waves his or her hand.
  • the motion of the actor's avatar may be similarly corrected.
  • the motion editing unit 350 determines the magnitude of the difference (angle difference) ⁇ 2 between the direction of the spectator avatar 511_2 and the direction of the screen object 551 or the direction of the spectator avatar 511_1 included in the screen object 551 (see FIG. 12B). ), whether or not to edit the motion information may be switched. For example, the motion information may be edited when the angle difference ⁇ 2 is less than or equal to the threshold, and the motion information may not be edited when the angle difference ⁇ 2 is greater than the threshold.
  • the virtual space displayed on the screen object may be switched according to time.
  • the motion of the performer avatar 11_2 may be corrected only when the audience avatar 511_1 that the performer is gazing at is displayed, and otherwise the motion of the performer avatar 11_2 may not be corrected.
  • the virtual space in which the audience avatar 511_1 exists may be forcibly displayed on the screen object to correct the action of the performer avatar 11_2.
  • FIG. 13 is a flowchart illustrating an example of the processing flow of the information processing system 100 according to the embodiment of the present disclosure.
  • the presentation unit 200 presents the image of the audience avatar group in the virtual space 500 to the performer 10 (S1001).
  • the presentation unit 200 may synthesize and present an image representing the audience avatar for each virtual space based on the data received by the data reception unit 380 .
  • the video representing the spectator avatar may be a video of the spectator, or may be a video of a character selected by the spectator.
  • the line-of-sight acquisition unit 320 acquires the line-of-sight information of the performer 10 and detects the gaze target (S1002). If the gaze target can be detected, the process proceeds to step S1003, and if not, the process returns to step S1001.
  • the presentation unit 200 emphasizes and displays the part of the performer's attention (S1003).
  • the motion editing unit 350 determines whether or not the performer makes a specific motion (herein called an interaction motion) toward the audience based on the motion information of the performer 10 acquired by the motion acquiring unit 310 (S1004).
  • interaction actions can be arbitrarily defined, such as waving, beckoning, winking, tilting the head, dancing, and rotating.
  • the destination of the interaction action is a specific spectator avatar, a specific spectator avatar group, or the like.
  • the audience avatar group may extend not only in one virtual space but also in multiple virtual spaces. For example, there is a case where a performer waves his or her hand across audience seats on the same floor in a plurality of virtual spaces.
  • step S1005 If the motion is an interaction motion, the process proceeds to step S1005, and if not, the process returns to step S1001. Whether or not an interaction action has been performed may be determined, for example, by using prediction based on a machine learning technique based on nearby movements of the performer from the past to the present.
  • the motion editing unit 350 edits the performer's motion information for each audience, each audience group, or each virtual space based on the performer's line-of-sight information, the first positional relationship, the second positional relationship, etc., and produces video data.
  • the generator 360 generates actor avatar data based on the corrected motion information.
  • the data distribution unit 370 transmits data of the performer's avatar to each audience device 400 (S1005).
  • the audience avatar group gazed at by the performer spans a plurality of virtual spaces, the motion of the performer avatar described above can be corrected (motion information edited) for each of the audience avatars or audience avatar groups gazed at in the plurality of virtual spaces. good.
  • the data receiving unit 380 receives the video representing the spectator avatar transmitted from the spectator-side device 400, and presents the spectator avatar group 510 to the performer 10 by the presentation unit 200 (S1006). As a result, the performer 10 can see the reaction of the audience to the interaction action performed on the audience avatar.
  • the spectator-side device 400 reflects the behavior of the spectator on the spectator avatar. For example, if the spectator turns right, the spectator avatar also turns right, and if the spectator waves his hand, the spectator avatar also waves his hand.
  • the motion editing unit 350 determines whether the interaction action has ended (S1007). If the interaction action continues, the process returns to step S1005. If the interaction action ends, it is determined whether the performer's live performance has ended (S1008). If not, the process returns to step S1001. When the live has ended, the processing of this flowchart ends.
  • FIG. 14 is a flowchart illustrating an example of the motion editing process flow of the information processing system 100 according to the embodiment of the present disclosure.
  • the performer 10 makes an interaction action of pointing his/her hand toward the audience avatar 511_1 in the virtual space 500_1 of the four virtual spaces (see FIG. 11).
  • the motion editing unit 350 sets the direction corresponding to the direction in which the performer 10 points his or her hand toward the audience avatar 511_1 presented by the presentation unit 200 (the performer 10 is also gazing at this direction). 500_1.
  • a difference (angle difference) ⁇ between the specified direction and the direction of the performer avatar 11_1 with respect to the audience avatar 511_1 in the virtual space 500_1 is calculated (S1101).
  • the motion editing unit 350 determines whether the difference ⁇ is equal to or less than the threshold (S1102).
  • the threshold value is a value for determining whether or not the motion of the performer avatar 11_1 becomes unnatural as seen from the audience of the audience avatar 511_1 when the motion of the performer avatar 11_1 is corrected. If the difference ⁇ is equal to or less than the threshold, the process proceeds to step S1104, and if greater than the threshold, the process proceeds to step S1103.
  • the motion editing unit 350 does not edit motion information (correction of motion) (or cancels editing of motion information) (S1103).
  • the motion editing unit 350 edits the actor's motion information (corrects the action of the actor's avatar 11_1) according to the magnitude of the difference ⁇ (S1104).
  • the video data generation unit 360 generates data of the performer's avatar based on the motion information after correction (or motion information that has not been corrected), and the data distribution unit 370 transmits the data of the performer's avatar to the spectator-side device 400.
  • the data of the actor's avatar is assumed to be data indicating the motion of the actor's avatar.
  • the spectator-side device 400 receives the performer avatar data (motion data) and causes the performer avatar 11_1 to move based on the motion data (S1106).
  • the performer avatar 11_1 performing the action is presented to the audience (S1106).
  • FIG. 15 is a flowchart explaining another example of the motion editing process flow of the information processing system 100 according to the embodiment of the present disclosure. Steps S1201 to S1204 are the same as S1101 to S1104 in FIG.
  • the video data generation unit 360 corrects the three-dimensional model (or two-dimensional model) of the performer's avatar based on the motion information of the performer, and renders the corrected three-dimensional model to the audience via the data distribution unit 370. It transmits to the side device 400 (S1205).
  • the spectator-side device 400 receives the video data and presents the performer's avatar to the spectators by reproducing the video data (S1206).
  • FIG. 16 is a flowchart explaining still another example of the flow of motion editing processing of the information processing device according to the embodiment of the present disclosure.
  • the motion of the actor's avatar 11 is additionally edited according to the attribute information of the virtual space 500 .
  • Steps S1301-S1304 are the same as S1101-S1104 in FIG.
  • the motion editing unit 350 determines whether the motion of the actor's avatar 11 is to be edited based on the attribute information of the virtual space (S1305). If the motion is to be edited, the process advances to step S1306. If the motion is not to be edited, the process advances to step S1307.
  • the motion editing unit 350 edits the motion of the actor's avatar 11 according to the attribute information of the virtual space (S1306). For example, if the motion of the performer 10 is a beckoning motion with the palm facing down, the motion of the performer avatar 11 is edited to have the palm facing up and the wrist bent in accordance with the culture of the language area of the virtual space 500. ⁇
  • the motion editing unit 350 further edits the motion of the actor avatar 11 to be edited (S1306).
  • Steps S1307 and S1308 are the same as S1105 and S1106 in FIG.
  • the information processing apparatus of the present disclosure by controlling the performer avatar according to the positional relationship between the performer 10 and the audience avatar presented by the presentation unit 200, the intention of the performer's movement is correctly conveyed to the performer avatar 11. can be reflected.
  • FIG. 17 is a diagram showing a presentation unit 202 as a modified example of the presentation unit 200 according to the embodiment of the present disclosure.
  • the presentation unit 202 is arranged such that a plurality of circumferential display panels 202_1, 202_2, 202_3, and 202_4 are stacked as shown in FIG. 17(a).
  • the display panels 202_1, 202_2, 202_3, and 202_4 display the state in the corresponding virtual space (audience group, audience seats, etc.).
  • the presentation unit 202 has a substantially elliptical or substantially circular shape surrounding the performer 10 when viewed from above, as shown in FIG. 17(b).
  • the performer 10 can visually recognize the audience avatars in the same positional relationship as in the virtual space.
  • the performer 10 can more intuitively interact with the audience.
  • FIG. 18 shows a presentation unit 203 as another modification of the presentation unit 200 according to the embodiment of the present disclosure.
  • the presentation unit 203 may be a head mounted display (HMD) as shown in FIG.
  • the presentation unit 203 can freely arrange the four virtual spaces within the field of view and allow the performer 10 to visually recognize the audience avatar groups 510_1 to 510_4 in the four virtual spaces.
  • FIG. 19 is a diagram showing another display example of the four virtual spaces presented by the presentation unit 203.
  • FIG. 19 the state of the virtual space 500_1 including the audience avatar that the performer gazes at is displayed on the full screen, the state of the other virtual spaces is displayed on the small screen, and the state of the virtual space 500_1 is superimposed on the edge of the full screen. good too.
  • FIG. 20 is an example of the hardware configuration of a computer that executes a series of processes of the information processing system 100 of the present disclosure by a program.
  • CPU 1001 , ROM 1002 and RAM 1003 are interconnected via bus 1004 .
  • An input/output interface 1005 is also connected to the bus 1004 .
  • An input unit 1006 , an output unit 1007 , a storage unit 1008 , a communication unit 1009 and a drive 1010 are connected to the input/output interface 1005 .
  • the input unit 1006 is composed of, for example, a keyboard, mouse, microphone, touch panel, input terminal, and the like.
  • the output unit 1007 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 1008 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 1009 is composed of, for example, a network interface. Drives drive removable media such as magnetic disks, optical disks, magneto-optical disks, or semiconductor memories.
  • the CPU 1001 loads, for example, a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the above-described series of programs. is processed.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • Programs executed by computers can be applied by being recorded on removable media such as package media.
  • the program can be installed in the storage unit 1008 via the input/output interface 1005 by loading the removable medium into the drive 1010 .
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 1009 and installed in the storage unit 1008 .
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the gist of the present invention at the implementation stage. Further, various inventions can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all components shown in the embodiments. Furthermore, components across different embodiments may be combined as appropriate.
  • this disclosure can also take the following configurations.
  • a presentation unit that presents at least one group of audience avatars placed in a virtual space in a display area visible to a performer corresponding to the performer avatar placed in the virtual space; a control unit for controlling the performer avatar in the at least one virtual space based on the performer's actions relative to the represented group of audience avatars.
  • the control unit controls a first positional relationship between the performer and the audience avatar group represented by the image presented in the display area, and the performer avatar and the audience avatar group in the at least one virtual space.
  • the information processing apparatus according to item 1, wherein the actor's avatar in the at least one virtual space is controlled based on a second positional relationship between.
  • the at least one virtual space includes a plurality of the virtual spaces,
  • the presentation unit presents an image representing the audience avatar group for each of the virtual spaces in the display area, 3.
  • the information processing apparatus according to Item 1 or 2, wherein the control unit controls the actor avatar for each virtual space.
  • a specifying unit that specifies at least one first spectator avatar that the performer gazes at in the group of spectator avatars represented by the image presented in the display area;
  • the first positional relationship is a positional relationship between the performer and the first spectator avatar represented by the image, and the control unit is the virtual space including the first positional relationship and the first spectator avatar.
  • a screen object including at least part of the spectator avatar group in the first virtual space is displayed in a second virtual space that is the virtual space that does not include the first spectator avatar, and the control unit controls the second virtual space.
  • the actor avatar in the second virtual space is controlled based on the third positional relationship between the screen object and the actor avatar in space and the first positional relationship.
  • Information processing equipment [Item 9] An acquisition unit that acquires the motion of the performer, The control unit controls the performer avatar in the second virtual space based on the performer's actions, Item 9. The information processing apparatus according to Item 8, wherein the control unit corrects the movement of the actor's avatar in the second virtual space in the direction of the screen object.
  • [Item 10] 10. The information processing apparatus according to Item 8 or 9, wherein the control unit determines whether the action of the performer is an interaction action, and corrects the action of the actor's avatar only in the case of the interaction action.
  • [Item 12] 12 12. The information processing apparatus according to item 11, wherein the control unit corrects the action of the actor avatar when the difference is equal to or less than a threshold, and does not correct the action of the actor avatar when the difference is greater than the threshold.
  • Attribute information is set for each virtual space, 13.
  • the information processing apparatus changes the action of the actor avatar according to the attribute information of the virtual space.
  • the control unit changes the action of the actor avatar according to the attribute information of the virtual space.
  • the attribute information is based on languages used or places of residence of spectator groups corresponding to spectator avatar groups included in the virtual space.
  • the control unit operates the performer avatar in the virtual space based on the motion data indicating the motion of the performer avatar, and responds to the audience avatar group based on the virtual viewpoint set in the virtual space.
  • the information processing device according to any one of items 1 to 14, wherein the visual field image is provided to a group of spectators and transmitted to at least one terminal device.
  • the control unit arranges an image representing the performer avatar in the virtual space, and arranges the performer avatar indicated by the image in the virtual space. 16.
  • the information processing device according to any one of items 1 to 15, which provides an image and transmits the image to at least one terminal device.
  • the presentation unit includes a display unit arranged in front of the performer, a display unit having a shape surrounding the performer, or a display unit of a head-mounted device worn by the performer. Items 1 to 16 The information processing device according to any one of the items.
  • the control unit receives image data of the spectator group from at least one terminal device of the spectator group corresponding to the spectator avatar group, 18.
  • the information processing apparatus presents an image of the audience group indicated by the image data as the image representing the audience avatar group.
  • An image representing a group of audience avatars placed in at least one virtual space is presented in a display area visible to a performer corresponding to the performer avatar placed in the virtual space, and the image presented in the display area is displayed.
  • Information 20 presenting an image representing a group of audience avatars placed in at least one virtual space in a display area visible to a performer corresponding to the performer avatar placed in said virtual space; and controlling the performer avatar in the at least one virtual space based on the performer's actions with respect to the audience avatars represented in the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

［課題］仮想空間を介して演者と観客との自然なインタラクションを実現する。 ［解決手段］本開示の情報処理装置は、少なくとも１つの仮想空間に配置された観客アバタ群を表す画像を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示する提示部と、前記表示領域に提示された前記画像に表される前記観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御する制御部と、を備える。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　多人数が同時アクセスできる仮想空間上でのバーチャルライブでは、アーティスト（演者）と視聴者が同じ場所にいない状況でのライブが可能である。仮想空間上でのライブでは、観客を表す観客アバタと、アーティストを表すアバタ（演者アバタ）が仮想空間に配置され、観客は仮想空間に配置された演者アバタをアーティストとして認識する。演者アバタは、スタジオなどにいるアーティストの実際の動きに同期して動作させられる。このような仮想空間上のバーチャルライブでは同時に単一会場でのライブのみならず、複数会場での同時ライブも可能である。
　現状、アーティストと視聴者が同じ場所にいない形式のライブでは、以下のようなアーティスト－ユーザ間インタラクションがある。例えば、ライブビューイングでは、配信用カメラに向かってアーティストが手を振るようなファンサービスが行われる。また端末への配信ライブでは、観客がコメントを記入してそれをアーティストが読む形のインタラクションがある。
　仮想空間上のバーチャルライブでは、アーティストと観客とが同じ空間を共有できるため、この利点を活かし、アーティストが各会場のユーザの様子（ユーザアバタの様子）を見て反応し、アーティストと観客との自然なインタラクションが実現する仕組みがあるとよい。
特開２０１８－３７０９２号公報 特開２０２０－０４２５７５号公報 特開２０１４－１２３３７６号公報
　本開示は、上述したような問題点に鑑みてなされたものであり、仮想空間を介して演者と観客との自然なインタラクションを実現することを目的とする。
　本開示の情報処理装置は、少なくとも１つの仮想空間に配置された観客アバタ群を表す画像を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示する提示部と、前記表示領域に提示された前記画像に表される前記観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御する制御部と、を備える。
　本開示の情報処理方法は、少なくとも１つの仮想空間に配置された観客アバタ群を表す画像を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示し、前記表示領域に提示された前記画像に表される観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御する。
　本開示のコンピュータプログラムは、少なくとも１つの仮想空間に配置された観客アバタ群を表す画像を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示するステップと、前記表示領域に提示された前記画像に表される前記観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御するステップとをコンピュータに実行させる。
本開示に係る情報処理装置のブロック図。 演者の動きを取得するシステムの図。 取得した動きからコンテンツを作成するモデリングの図。 演者アバタを表示する表示方法の一例の図。 本開示の実施形態に係る提示部の一例を示す図。 仮想空間の客席の展開の様子を示す図。 演者の動きを演者アバタが反映する様子を示す図。 演者および演者アバタがインタラクション動作をする図。 客席からみた演者アバタの図。 仮想空間における観客アバタの位置関係および見え方について示した図。 仮想空間の観客アバタに対してインタラクション動作をする演者を示す図。 インタラクション動作の対象となっていない仮想空間の観客アバタからみた演者アバタを示す図。 本開示の実施形態に係る情報処理装置の処理の流れの一例を説明するフローチャート。 本開示の実施形態に係る情報処理装置のモーション編集処理の流れの一例を説明するフローチャート。 図１４の変形例を説明するフローチャート。 仮想空間の属性に応じて演者アバタのモーションを編集する処理の流れを説明するフローチャート。 本開示の実施形態に係る提示部の変形例の一例を示す図。 本開示の実施形態に係るＨＭＤによる提示部の変形例の一例を示す図。 図１８に仮想空間の表示の一例を示す図。 本開示の情報処理装置の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成の一例を示す図。
　図１は、本開示の実施形態に係る情報処理システム１００のブロック図である。情報処理システム１００は、本実施形態に係る情報処理装置としての演者側装置３００と、観客側装置４００とを含む。
　演者側装置３００（情報処理装置）は、モーション取得部３１０と、視線取得部３２０と、第１位置関係計算部３３０と、第２位置関係計算部３４０と、モーション編集部３５０と、映像データ生成部３６０と、データ配信部３７０と、データ受信部３８０と、観客映像合成部３９０と、提示部２００とを備える。本実施形態に係る制御部は、モーション取得部３１０と、視線取得部３２０と、第１位置関係計算部３３０と、第２位置関係計算部３４０と、モーション編集部３５０と、映像データ生成部３６０と、データ配信部３７０と、データ受信部３８０と、観客映像合成部３９０のうちの少なくとも１つの機能を有する。
　観客側装置４００は、データ受信部４１０と、観客提示部４２０と、観客映像生成部４３０と、観客側送信部４４０と、を備える。観客側装置４００は１台のみ示されるが、実際には、観客の人数、観客グループの数又は仮想空間の数などに応じて、複数存在する。例えば、観客ごとに観客側装置４００が存在してよい。
　本実施形態は、仮想空間である会場に演者に対応する演者アバタと、観客に対応する観客アバタとを配置し、演者アバタがライブパフォーマンスを行う状況において演者と観客との自然なインタラクションを実現させる。ここで、演者アバタとは、仮想空間に配置され、演者の動きを反映させるオブジェクトである。以下、仮想空間および演者アバタについて説明する。
（仮想空間）
　本開示の実施形態の仮想空間では、ライブを行う会場が設置され、会場には、演者アバタ、観客アバタの集合体である観客アバタ群、演者アバタがパフォーマンスをする舞台である舞台、各観客アバタが舞台上の演者アバタを見る客席などが配置されている。
　仮想空間は１つ又は複数設けられ、仮想空間ごとに会場が設置される。仮想空間ごとに属性情報を設定してもよい。仮想空間の属性情報は、例えば、仮想空間に配置される観客アバタ群の属性（観客群の使用言語又は居住地等）でもよい。仮想空間では、仮想空間の属性情報に応じたサービス又は動作が行われてもよい。例えば演者の発した言語が、仮想空間の属性情報が示す言語に変換されてもよい。また観客は、自身が希望する属性情報を有する仮想空間を選択し、選択した仮想空間のライブに参加してもよい。
　（演者アバタ）
　図２は、演者１０の動き（モーション）を撮影し、３次元モデルを生成するための撮影環境を示す図である。図３は、取得したモーションから３次元モデル１２を作成するモデリングを説明する図である。図４は、作成した３次元モデル１２を演者アバタ１１として表示する一例の図である。
　図２において、演者１０は撮影環境においてライブのパフォーマンスを行う。カメラ３２１は演者１０を一定のサンプリングレートで撮像する。カメラ３２１は、単数であってもよいし、演者を様々な角度から撮像するために、図２のように複数でもよい。なお、演者１０の前方又は周囲等には仮想空間における観客アバタ群の画像を表示する表示部（図１の提示部２００）が配置されている。これにより、演者１０は各会場の観客アバタ群の状況を見ながらパフォーマンスを行うことができる。なお図２の撮影環境においてマイクを配置し（例えば演者１０にマイクを持たせ）、演者１０の音声を一定のサンプリングレートで収集してもよい。
　次に、カメラ３２１で取得した画像データの集合体から、３次元データ化したオブジェクトを図３のように３次元モデル１２として生成する。３次元モデルの生成には、例えばＶｉｓｕａｌ　Ｈｕｌｌ法等を用いることができる。
　次に生成した３次元モデル１２を任意の視点でレンダリングすることで、図４に示すように、観客側のデバイス（観客提示部４２０）に演者アバタ１１が表示されることができる。演者アバタ１１は、３次元モデル１２を映像データとしてレンダリングすることにより観客側のデバイスに送信されてもよい。モーションデータを観客側のデバイスに送信し、観客側のデバイスで演者アバタ１１をレンダリングしてもよい。演者アバタ１１は、図４（ａ）のようにディスプレイ４０１で再生または、図４（ｂ）のようにヘッドマウントディスプレイ４０２で再生されることができる。これにより演者アバタ１１が観客アバタに対応する観客に提示される。図４（ａ）のディスプレイ４０１は単一の観客、又は複数の観客（観客グループ）により視聴可能である。図４（ｂ）のヘッドマウントディスプレイ４０２の場合、観客ごとにヘッドマウントディスプレイ４０２が設けられる。なお、演者の音声をマイクで収集する場合、演者アバタ１１のレンダリングデータ又はモーションデータとともに、音声データも観客側のデバイスに送信して、演者アバタ１１の動きと同期して音声を出力させる。
　以下、図１の情報処理システム１００について詳細に説明する。
　観客側装置４００は、観客ごとの視聴デバイスである場合、観客群（観客グループ）に共通の視聴デバイスである場合のいずれもあり得る。視聴デバイスはＨＭＤ、モニタ、ＴＶ、ＰＣなど何でもよい。以下では、観客側装置４００は観客ごとの視聴デバイスである場合を想定して説明する。但し、仮想空間ごとに観客群が同時に同一のディスプレイを視聴する状況では、観客側装置４００が仮想空間ごとに、観客群に共通に１つ設けられてもよい。
　観客映像生成部４３０は、仮想空間における観客アバタを表す映像（画像）を生成する。観客映像生成部４３０、観客アバタを表す映像として、例えば、観客側装置４００を視聴する観客自身の体の一部（例えば顔）を撮影した映像を、観客アバタを表す映像としてもよい。あるいは、観客映像生成部４３０は、仮想空間上での観客アバタをレンダリングすることにより、観客アバタを表す映像を生成してもよい。観客アバタを表す映像は，例えば、仮想空間において演者アバタの位置へ向けて観客の視点（仮想空間における仮想カメラの視点）を置いたものである。つまり、演者アバタから見える観客アバタの映像を生成する。このように観客アバタを表す映像（画像）は、観客自身の画像でもよいし、観客アバタ（観客が選択したキャラクタ）の画像でもよい。
　観客側送信部４４０は、観客映像生成部４３０で生成された観客アバタを表す映像（画像）を演者側装置３００に送信する。演者側装置３００のデータ受信部３８０は、各観客側装置４００から観客アバタを表す映像を受信する。観客側送信部４４０は、演者側装置３００と有線又は無線のネットワークを介して接続されている。有線又は無線のネットワークは、インターネット、セルラー通信ネットワーク、又は無線ＬＡＮ（Local Area Network）等を含む。
　演者側装置３００における観客映像合成部３９０は、データ受信部３８０で受信された観客アバタを表す映像（画像）を合成し、合成した映像（画像）を提示部２００に表示させる。
　提示部２００は、観客映像合成部３９０により合成された映像を、演者が視認可能な表示領域に表示する。これにより各仮想空間における観客アバタを表す映像（例えば観客アバタに対応する観客を撮像した映像又は観客が選択したキャラクタの映像）が、演者に視認可能に表示される。提示部２００は、例えば、スタジオ内の演者１０の前方に配置されている。提示部２００は一例として液晶表示装置、有機ＥＬ表示装置などの表示装置であり、この場合は、表示領域は表示装置の画面である。提示部２００は複数の表示領域に対応する複数のディスプレイを備えていてもよいし、１つのディスプレイの表示領域を複数に区切ってもよい。提示部２００は実際の空間に画像を表示する装置（空間画像表示装置）でもよく、この場合、表示領域は画像が表示される空間の一部の領域である。また提示部２００は、映像をスクリーンに投影するプロジェクターでもよく、この場合、表示領域はプロジェクターの映像が投影される投影領域である。
　図５は、提示部２００により提示（表示）された観客アバタ群の一例を示す。図５の例では、４つの仮想空間（それぞれ仮想空間５００＿１、５００＿２、５００＿３、５００＿４とする）で同時にライブが行われる状況を想定している。各仮想空間における会場の観客アバタ群がそれぞれ異なる表示領域に表示されている。より詳細には以下の通りである。
　図５に示す提示部２００は、４つのタイル状の表示領域を有し、各表示領域は４つの仮想空間のそれぞれに対応する。各表示領域には、仮想空間における観客アバタ群を含む長方形の映像が表示される。右上の表示領域に仮想空間５００＿１に対応する観客アバタ群５１０＿１、左上の表示領域に仮想空間５００＿２に対応する観客アバタ群５１０＿２、右下の表示領域に仮想空間５００＿３に対応する観客アバタ群５１０＿３、左下の表示領域に仮想空間５００＿４に対応する観客アバタ群５１０＿４が表示されている。
　実際の物理空間に存在する（例えば撮影スタジオに存在する）演者１０は、各表示領域に提示された観客アバタ群５１０＿１～５１０＿４の画像を通じて、観客アバタ群５１０＿１～５１０＿４に対応する観客群を認識することができる。以下の説明で、任意の観客アバタ又は観客アバタ群を観客アバタ５１０又は観客アバタ群５１０と記載する場合がある。
　観客映像合成部３９０が仮想空間ごとに観客アバタを表す映像（画像）を合成する方法は任意でよい。例えば、仮想空間における観客アバタの映像を、仮想空間に対応する表示領域内のランダムな位置に配置してもよい。仮想空間における観客アバタの相対的な位置関係を維持したたま長方形の表示領域に観客アバタの映像を、圧縮して表示してもよい。また以下に説明する図６に示す方法で合成してもよい。
　図６は、合成方法の例を示す図である。４つの仮想空間５００（５００＿１、５００＿２、５００＿３、５００＿４）において、舞台５２０（５２０＿１、５２０＿２、５２０＿３、５２０＿４）と、客席５３０（５３０＿１、５３０＿２、５３０＿３、５３０＿４）が設けられている。舞台５２０上の演者アバタ及び客席の観客アバタの図示は省略されている。この場合に、客席５３０（５３０＿１、５３０＿２、５３０＿３、５３０＿４）を、図６のように適当な位置で切り、長方形５３１＿１、５３１＿２、５３１＿３、５３１＿４に展開できる。長方形に含まれる各観客アバタの位置に応じて、仮想空間に対応する表示領域に、観客アバタを表す映像を配置することで、観客アバタを表す映像の合成を行う。
　視線取得部３２０は、提示部２００の表示領域を視認している演者１０の視線情報を取得する。視線情報を取得する方法として、演者の目元を撮影するカメラと、予め用意された目の複数の画像とのマッチングに基づいて、視線の方向を特定してもよい。または、提示部２１０がＨＭＤの表示部の場合に、ＨＭＤの表示部に提示される画像の中心を視線の方向とみなしてもよい。
　視線取得部３２０は、取得した視線情報に基づき、演者１０がどの観客アバタ又はどの観客アバタ群を注視しているかを検出する。例えば４つの仮想空間に含まれる４つの観客アバタ群がそれぞれの表示領域に提示されている場合、どの観客アバタ群、あるいは、どの観客アバタ群のうちのどの観客アバタを演者１０が注視しているかを検出する。注視する観客アバタは１つ又は複数でもよい。注視する観客アバタ群は１つ又は複数でもよい。あるいは、視線取得部３２０は、４つの仮想空間のうちどの仮想空間を注視しているかを検出してもよい。演者が注視する観客アバタ群が複数の仮想空間にまたがっていてもよい。演者が注視する少なくとも１つの観客アバタは本開示に係る第１観客アバタに対応する。
　視線取得部３２０は、演者が注視している観客アバタ又は観客アバタ群を特定する情報（注視観客情報）をモーション編集部３５０及び提示部２００に提供する。視線取得部３２０は、演者１０の視線情報をモーション編集部３５０に提供してもよい。
　提示部２００は、視線取得部３２０から演者１０が注視している観客アバタ又は観客アバタ群を示す情報（注視観客情報）を取得し、表示領域において、注視されている観客又は観客群を強調して表示してもよい。例えば、注視されている観客又は観客群の色を変更、し、観客又は観客群を太い線で囲ってもよい（後述する図８参照）。あるいは、注視されていない観客（非注視観客群）をぼかして表示してもよい。
　演者側装置３００におけるモーション取得部３１０は、演者の動き情報（モーション情報）を取得する。モーション情報は、演者の位置情報も含む。例えばモーション取得部３１０は、カメラ３２１で演者１０を撮像した画像データに基づき、演者１０のモーション情報を取得する。またはモーション取得部３１０は、演者の体に取り付けた１つ又は複数のセンサの位置情報を取得し、取得した位置情報に基づき、演者のモーション情報を取得してもよい。モーション取得部３１０は、取得したモーション情報を第１位置関係計算部３３０と、モーション編集部３５０に提供する。
　第１位置関係計算部３３０は、演者１０から見て、演者１０と提示部２００で提示された画像（映像）に示される観客アバタ又は観客アバタ群と位置関係、すなわち、演者視点の位置関係（第１位置関係）を計算する。位置関係の計算は、例えば、演者１０のモーション情報（位置情報を含む）と、提示部２００の位置情報（例えばディスプレイの配置位置・高さ等）と、提示部２００の表示領域内の観客アバタ又は観客アバタ群の位置情報とに基づき行う。第１位置関係は、例えば演者１０の位置からどのベクトルの方向に、表示領域に提示された画像において、演者１０が注視する観客アバタ又は観客アバタ群が存在するかの情報を含む。基準となる演者１０の位置は、演者の体の予め決められた位置（例えば目又は重心など）でもよいし、その他の方法で決めた位置でもよい。
　ここで演者１０と表示領域に提示された観客アバタとの位置関係と、演者アバタ１１と観客アバタとの位置関係は一致しているとは限らない。例えば、演者１０から見て図５の左上の表示領域にいるある観客アバタは左前方に存在するが、仮想空間では演者アバタ１１の右に当該観客アバタが存在するかもしれない。このため、演者１０の動きを演者アバタ１１に反映させる場合、観客との自然なインタラクションを実現するには、演者１０と表示領域に提示された観客アバタとの位置関係（第１位置関係）を考慮する必要がある。第１位置関係計算部３３０は、計算した演者１０と観客アバタとの位置関係を示す情報（演者視点の位置関係情報）をモーション編集部３５０に送信する。
　第２位置関係計算部３４０は、観客アバタ５１０（又は観客）からみた演者アバタ１１と観客アバタ５１０の位置関係、すなわち観客視点の位置関係（第２位置関係）を計算する。位置関係の計算のため、各観客側装置における観客側送信部４４０から、仮想空間における観客アバタの位置情報を送信させ、演者側装置３００のデータ受信部３８０で位置情報を受信する。この位置情報に基づき、第２位置関係計算部３４０は各観客視点での演者アバタと観客アバタとの位置関係（第２位置関係）を計算する。観客アバタ５１０の位置は観客アバタ５１０の位置を特定可能な位置であれば何でもよい。例えば観客アバタ５１０の位置は、仮想空間における仮想カメラの位置でもよい。
　上述のように、演者１０と表示領域に提示された観客アバタとの位置関係と、仮想空間における演者アバタ１１と観客アバタとの位置関係は同じであるとは限らない。このため、演者１０の動きを演者アバタ１１に反映させる場合、観客との自然なインタラクションを実現するには、仮想空間における演者１０と観客アバタ５１０との位置関係（第２位置関係）を考慮する必要がある。
　第２位置関係計算部３４０は、仮想空間における、計算した演者アバタ１１と観客アバタとの位置関係を示す情報（観客視点の位置関係情報）をモーション編集部３５０に提供する。
　モーション編集部３５０は、演者１０の動きを元に実際の演者アバタ１１の動き情報（モーション情報）を編集しコンテンツ１２として出力する。
　モーション編集部３５０は，演者視点の位置関係情報、観客視点の位置関係情報，演者のモーション情報，演者の注視観客情報を受け取り，演者のモーション情報を編集する。モーション情報の編集は、例えば、観客ごと、又は観客群ごと（仮想区間ごと）に行う。
　例えば，演者が存在する現実空間と演者アバタが存在する仮想空間との間でそれぞれの座標系が対応づけられており、演者から見て注視する観客アバタ（表示領域に表示された観客アバタ）へのベクトルに対応するベクトルを仮想空間において特定する。仮想空間における演者アバタは、特定されたベクトルの方向を向く。演者アバタが向く方向（角度）と、仮想空間において演者アバタから見て観客アバタが存在する方向（角度）との差分だけ、モーション情報における演者の動作を編集する。例えば、演者の顔、腕、又は足の角度を、当該差分に応じて回転させる。これにより現実空間における演者が表示領域において注視する観客アバタ（観客アバタＡとする）を、仮想空間において演者アバタが注視する動作を実現できる。
　観客アバタＡと同じ仮想空間に存在する他の観客アバタ（注視されていない観客アバタ）に対しては、演者アバタが上記観客アバタＡを演者アバタが注視している動作が行われるように、演者アバタのモーション情報が編集される。
　観客アバタＡと異なる他の仮想空間に存在する観客アバタに対しては、モーション情報の編集を行わなくてもよい。あるいは、他の仮想空間に観客アバタＡが存在する仮想空間内の様子を示すスクリーンオブジェクト（バックスクリーンなど）を配置し、他の仮想空間における演者アバタが、スクリーンオブジェクト又はスクリーンオブジェクトに表示されている観客アバタＡを注視する動作を行うように他の仮想空間に対する演者のモーション情報を編集してもよい。
　モーション情報の編集によって演者アバタの動作を観客、観客群又は仮想空間ごとに変更させる動作の具体例については後述する。
　また、モーション編集部３５０は、仮想空間の属性情報、例えば言語圏の文化に応じてモーション情報を編集してもよい。例えば演者が手のひらを下にして手首を曲げることにより手招きの動作を行った場合、ある特定の属性情報の仮想空間に対しては、手のひらを上にして手首を曲げる動作にモーション情報を変更してもよい。
　映像データ生成部３６０は、モーション編集部３５０で編集されたモーション情報に基づいて、観客側装置に提供する演者アバタ（演者オブジェクト）のデータを生成する。演者アバタのデータは、一例として、図２～図４で説明した３次元オブジェクト（もしくは２次元オブジェクト）を生成し、生成した３次元オブジェクト（もしくは２次元オブジェクト）を画像データとしてレンダリングしたものである。この場合、観客側装置４００ではレンダリングデータを元に演者アバタが映像として再生される。
　他の例として、演者アバタのデータは、編集後のモーション情報でもよい。この場合、観客側装置で、編集後のモーション情報が演者アバタに適用され、編集後のモーション情報に応じて演者アバタが動作させられる。
　本例では３次元オブジェクトのレンダリングデータを演者アバタのデータとする場合を想定する。
　データ配信部３７０は、映像データ生成部３６０で生成された演者オブジェクトのデータを観客側装置４００に送信する。データ配信部３７０は、観客側装置４００と有線又は無線のネットワークを介して接続されている。有線又は無線のネットワークは、インターネット、セルラー通信ネットワーク、又は無線ＬＡＮ（Local Area Network）等を含む。
　観客側装置４００のデータ受信部４１０は、演者側装置３００から配信された演者オブジェクトのデータを受信する。データ受信部４１０は、受信したデータを観客提示部４２０に提供する。
　観客提示部４２０は、仮想空間と仮想空間内のオブジェクト（演者アバタ、観客オブジェクト、ライブ会場内の各種オブジェクトなど）を示す映像を表示する。観客側装置４００を装着又は視聴する観客自身のオブジェクト（観客アバタ）については、当該観客アバタを表示しない構成及び表示する構成のいずれもあり得る。観客提示部４２０は、仮想空間に設定された観客の仮想カメラに基づき、仮想カメラの視点で、仮想空間５００の様子を示す映像を生成する。仮想カメラは例えば観客アバタの頭部（例えば目の位置）に設定される。生成した映像（演者アバタ、他の観客アバタ、舞台、客席などを含む）が観客に視認される。
　以下、具体例を用いて、本開示の実施形態について詳細に説明する。
　図７は、現実空間における演者１０の動きに応じて、仮想空間５００（５００＿１～５００＿４）上の演者アバタ１１（１１＿１～１１＿４）が動作する様子を示す図である。仮想空間５００＿１～５００＿４には、演者アバタ１１＿１～１１＿４と、演者アバタ１１＿１～１１＿４がパフォーマンスをする舞台５２０＿１～５２０＿４と、観客アバタ群が演者アバタを見るスペースである客席５３０（５３０＿１～５３０＿４）とが含まれる。演者アバタ１１＿１～１１＿４は、演者１０の動きに従い、仮想空間５００上で、演者１０と同様の動作を行う。演者１０が、図７のように左腕を上に上げる動作を行うと、演者アバタ１１もこの動作に連動するように、同様に左腕を上げる動作を行う。なお、この例ではモーション情報の編集は行っていない。
　図８（ａ）は、演者１０がある仮想空間における観客アバタ群のうち観客アバタ５１１＿１を注視して、手を振る動作を行う例を示す。観客アバタ５１１＿１は太い線で囲まれること、又は特定の色で塗られることで、注視された観客アバタであることが演者１０に視認容易になっている。演者１０の視線の方向は方向Ｄ１である。
　図８（ｂ）は、観客アバタ５１１＿１が存在する仮想空間内の演者アバタ１１＿１と観客アバタ群の様子を示す。観客アバタ群は、観客アバタ５１１＿１と、それ以外の観客アバタ５１１＿２とを含む。演者１０のモーション情報を編集しない場合、すなわち、演者アバタ１１＿１の動作を補正しない場合、演者アバタ１１＿１は方向Ｄ１を見ながら、手を振る動作を行う。観客アバタ５１１＿１及び観客アバタ５１１＿２から見た場合、演者アバタ１１＿１が観客アバタ５１１＿１とは別の方向に対して手を振って見える。これに対して、本実施形態では演者アバタ１１＿１が見る方向と、観客アバタ５１１＿１が存在する方向との差分（角度の差分）θに応じてモーション情報の編集を行う。この結果、演者アバタ１１＿１が観客アバタ５１１＿１を見て、手を振る動作を行うことになる。観客アバタ５１１＿１に対応する観客は演者アバタ１１＿１が自分に手を振っているように見える。観客アバタ５１１＿２に対応する観客は、演者アバタ１１＿１が観客アバタ５１１＿１に手を振っているように見える。なお、観客アバタ５１２＿１に対してはモーション情報の補正を行わない構成も可能である。
　図９（ａ）は、モーション情報の編集を行わない場合に、観客アバタ５１１＿１から演者アバタ１１＿１を見た例を示す。演者アバタ１１＿１は観客アバタ５１１＿１とは異なる方向を見て手を振っている。図９（ｂ）は、モーション情報の編集を行った結果、観客アバタ５１１＿１から演者アバタ１１＿１を見た例を示す。演者アバタ１１＿１は観客アバタ５１１＿１を見て、手を振っている。他の観客アバタ５１１＿２（図８（ｂ）参照）の観客も、演者アバタ１１＿１が観客アバタ５１１＿１に手を振っているように見える。
　図１０は、観客アバタ５１１＿１と観客アバタ５１１＿２との視界を説明する図である。図１０（ａ）は仮想空間５００＿１内の様子を示す。図１０（ｂ）は観客アバタ５１１＿１の視界を示し、図１０（ｃ）は観客アバタ５１１＿２の視界を示す。観客アバタ５１１＿１は、演者アバタ１１＿１と対面する方向に対して、右方向に観客アバタ５１２＿１が見えている。一方、観客アバタ５１２＿１は、演者アバタ１１＿１と対面する方向に対して、左方向に観客アバタ５１１＿１が見えている。これにより、観客アバタは、客席５３０＿１のどの位置にいても演者アバタ１１＿１を正面から見ることができ、かつ他の観客との位置関係が維持される。
　モーション編集部３５０は、角度の差分θ（図８又は図９参照）に応じて、モーション情報を編集（演者アバタの動作を補正）するか否かを切り替えてもよい。具体的には、角度の差分θが閾値以下のときは、図８（ｂ）又は図９（ｂ）のようにモーション情報を編集（演者アバタの動作を補正）する。角度の差分θが閾値より大きいときは、不自然な動きになるとして、モーション情報を編集しない（演者アバタの動作を補正しない）。
　上述した説明では演者が注視する観客オブジェクトが存在する仮想空間内での演者アバタの動作の補正例を示したが、他の仮想空間における演者アバタの動作の補正例を説明する。
　図１１は、提示部２００に提示された複数の表示領域のうち右上の表示領域に対応する仮想空間５００＿１における観客アバタ群５１０＿１のうちの観客アバタ５１１＿１を演者１０が注視して手を振っている動作を示す。
　図１２（ａ）は、観客アバタ５１１＿１が存在する仮想空間５００＿１における演者アバタ１１＿１の動作の補正例を示す。この例は上述の図９（ｂ）と同様であるため説明を省略する。
　図１２（ｂ）は、仮想空間５００＿１以外の仮想空間（仮想空間５００＿２とする）における演者アバタ１１＿２の動作の補正例を示す。観客アバタ５１１＿２は、仮想空間５００＿２における任意の観客アバタである。仮想空間５００＿２には、他の仮想空間５００＿１、５００＿３、５００＿４内の様子を示すスクリーンオブジェクト（バックスクリーンなど）５５１、５５３、５５４が配置されている。スクリーンオブジェクト５５１、５５３、５５４には、５００＿１、５００＿３、５００＿４における観客アバタ群５１０＿１、５１０＿３、５１０＿４が表示されている。演者アバタ１１＿２が、演者が注視している観客アバタ５１１＿１を含むスクリーンオブジェクト５５１を見て手を振る動作を行うように、演者のモーション情報が編集（演者アバタ１１＿２の動作が補正）される。すなわち、演者アバタ１１＿２とスクリーンオブジェクト５５１との位置関係（第３位置関係）に基づいて、演者のモーション情報が編集（演者アバタ１１＿２の動作が補正）される。例えば、スクリーンオブジェクト５５１内の観客アバタ５１１＿１を見て手を振る動作を行うように、演者のモーション情報が編集（演者アバタ１１＿２の動作が補正）される。他の仮想空間５００＿３、５００＿４においても、同様にして演者アバタの動作が補正されてよい。
　モーション編集部３５０は、観客アバタ５１１＿２の方向と、スクリーンオブジェクト５５１の方向又は当該スクリーンオブジェクト５５１に含まれる観客アバタ５１１＿１の方向との差分（角度の差分）θ２の大きさ（図１２（ｂ）参照）に応じて、モーション情報の編集を行うかを切り替えてもよい。例えば角度の差分θ２が閾値以下の場合に、モーション情報の編集を行い、角度の差分θ２が閾値より大きい場合に、モーション情報の編集を行わなくてもよい。
　図１２（ｂ）の例ではスクリーンオブジェクトが３つであるが、１つ又は２つ、３つ以上でもよい。例えばスクリーンオブジェクトが１つの場合、時間に応じて、スクリーンオブジェクトに表示される仮想空間が切り替えられてもよい。この場合、演者が注視している観客アバタ５１１＿１が表示されている場合にのみ演者アバタ１１＿２の動作を補正し、それ以外の場合には、演者アバタ１１＿２の動作を補正しなくてもよい。あるいは、観客アバタ５１１＿１がスクリーンオブジェクトに表示されていない場合、強制的にスクリーンオブジェクトに観客アバタ５１１＿１が存在する仮想空間を表示して、演者アバタ１１＿２の動作を補正してもよい。
　図１３は、本開示の実施形態に係る情報処理システム１００の処理の流れの一例を説明するフローチャートである。
　まず、提示部２００が、演者１０に対して仮想空間５００における観客アバタ群の画像を提示する（Ｓ１００１）。このとき、提示部２００は、データ受信部３８０で受信したデータにより観客アバタを表す映像を仮想空間毎に合成して提示してもよい。観客アバタを表す映像は観客を撮影した映像でもよいし、観客が選択したキャラクタの映像でもよい。
　次に、視線取得部３２０が演者１０の視線情報を取得し、注視先を検出する（Ｓ１００２）。注視先を検出できた場合は、ステップＳ１００３に進み、取得できない場合は、ステップＳ１００１に戻る。
　次に、提示部２００は、演者の注視部分を強調して表示する（Ｓ１００３）。次に、モーション編集部３５０は、モーション取得部３１０で取得した演者１０の動き（モーション）情報に基づき、演者が観客への特定の動作（ここではインタラクション動作と呼ぶ）か判定する（Ｓ１００４）。インタラクション動作の例は、例えば手を振る、手招きする、ウィンクをする、首を傾ける、ダンスをする、回転するなど任意に定義することができる。インタラクション動作の行う先は、特定の観客アバタ、又は特定の観客アバタ群などがある。観客アバタ群は、１つの仮想空間内のみならず、複数の仮想空間にわたる場合もあり得る。例えば演者が複数の仮想空間の同じ階数の客席にまたがって手を振る動作を行う場合がある。当該動きがインタラクション動作である場合はステップＳ１００５に進み、インタラクション動作でない場合は、ステップＳ１００１に戻る。インタラクション動作を行ったか否かは、例えば、近傍の過去から現在までの演者の動きから，機械学習手法による予測を用いて判定してもよい。
　次に、モーション編集部３５０は、演者の視線情報、第１位置関係、第２位置関係等に基づき、演者のモーション情報を観客ごと、観客群ごと、又は仮想空間ごとに、編集し、映像データ生成部３６０は、補正後のモーション情報に基づき演者アバタのデータを生成する。データ配信部３７０は、演者アバタのデータを各観客側装置４００に送信する（Ｓ１００５）。演者が注視する観客アバタ群が複数の仮想空間にわたる場合、複数の仮想空間のそれぞれの注視する観客アバタ又は観客アバタ群に対して、前述した演者アバタの動作を補正（モーション情報を編集）すればよい。
　次に、データ受信部３８０は、観客側装置４００から送信された観客アバタを表す映像を受信し、観客アバタ群５１０を提示部２００により演者１０に提示する（Ｓ１００６）。これにより、演者１０は、観客アバタに対して行ったインタラクション動作に対する観客の反応を見ることができる。なお、観客側装置４００では観客の動作が観客アバタに反映させられる。例えば観客が右を向けば、観客アバタも右を向き、観客が手を振れば、観客アバタも手を振る。
　次に、モーション編集部３５０は、インタラクション動作が終了したか判定する（Ｓ１００７）。インタラクション動作が継続していれば、ステップＳ１００５に戻り、インタラクション動作が終了したならば、演者のライブが終了したかを判断し（Ｓ１００８）、終了していなければ、ステップＳ１００１に戻る。ライブが終了した場合は、本フローチャートの処理を終了する。
　図１４は、本開示の実施形態に係る情報処理装システム１００のモーション編集処理の流れの一例を説明するフローチャートである。当該フローチャートの説明においては、４つの仮想空間のうち仮想空間５００＿１の観客アバタ５１１＿１に対して演者１０が手を向けるインタラクション動作をする状況を想定している（図１１参照）。
　まず、モーション編集部３５０は、演者１０が提示部２００により提示された観客アバタ５１１＿１に対して手を向けた方向（演者１０はさらにこの方向を注視している）に対応する方向を、仮想空間５００＿１において特定する。特定した方向と、仮想空間５００＿１において演者アバタ１１＿１の観客アバタ５１１＿１に対する方向との差分（角度の差分）θを計算する（Ｓ１１０１）。
　次にモーション編集部３５０は、差分θが閾値以下か判定する（Ｓ１１０２）。ここで、閾値とは、演者アバタ１１＿１の動きを補正した場合、観客アバタ５１１＿１の観客から見て演者アバタ１１＿１のモーションが不自然とならないかを判定するための値である。差分θが閾値以下の場合は、ステップＳ１１０４に進み、閾値より大きい場合は、ステップＳ１１０３に進む。
　次に、モーション編集部３５０は、モーション情報の編集（モーションの補正）を行わない（あるいは、モーション情報の編集をキャンセルする）（Ｓ１１０３）。
　次に、モーション編集部３５０は、差分θの大きさに応じて演者のモーション情報を編集（演者アバタ１１＿１の動作を補正）する（Ｓ１１０４）。
　次に、映像データ生成部３６０は、補正後のモーション情報（又は補正していないモーション情報）に基づき演者アバタのデータを生成し、データ配信部３７０が観客側装置４００に演者アバタのデータを送信する（Ｓ１１０５）。ここでは演者アバタのデータは、演者アバタのモーションを示すデータであるとする。観客側装置４００は、演者アバタのデータ（モーションデータ）を受信し、演者アバタ１１＿１を当該モーションデータに基づき動作させる（Ｓ１１０６）。当該動作を行う演者アバタ１１＿１が観客に提示される（同Ｓ１１０６）。
　図１５は、本開示の実施形態に係る情報処理システム１００のモーション編集処理の流れの他の例を説明するフローチャートである。ステップＳ１２０１～Ｓ１２０４は図１４のＳ１１０１～Ｓ１１０４と同じである。
　映像データ生成部３６０は、演者のモーション情報に基づき演者アバタの３次元モデル（又は２次元モデル）を補正し、補正後の３次元モデルをレンダリングした映像データをデータ配信部３７０を介して、観客側装置４００に送信する（Ｓ１２０５）。観客側装置４００は、映像データを受信し、当該映像データを再生することで観客に対して演者アバタを提示する（Ｓ１２０６）。
　図１６は、本開示の実施形態に係る情報処理装置のモーション編集処理の流れのさらに他の例を説明するフローチャートである。本例では、仮想空間５００の属性情報に応じて演者アバタ１１のモーションを追加で編集する。ステップＳ１３０１～Ｓ１３０４は図１４のＳ１１０１～Ｓ１１０４と同じである。
　次に、モーション編集部３５０は、仮想空間の属性情報に基づき、演者アバタ１１のモーションが編集対象かを判定する（Ｓ１３０５）。モーションの編集対象の場合は、ステップＳ１３０６に進み、モーションの編集対象でない場合は、ステップＳ１３０７に進む。
　次に、モーション編集部３５０は、演者アバタ１１のモーションを仮想空間の属性情報に応じて編集する（Ｓ１３０６）。例えば、演者１０がした動作が手のひらを下にした手招きである場合、仮想空間５００の言語圏の文化に応じて手のひらを上にして手首を曲げたモーションに演者アバタ１１のモーションを編集する。
　次に、モーション編集部３５０は、編集対象である演者アバタ１１のモーションを更に編集する（Ｓ１３０６）。
　ステップＳ１３０７、Ｓ１３０８は、図１４のＳ１１０５、Ｓ１１０６と同じである。
　以上、本開示の情報処理装置によれば、演者１０と提示部２００に提示された観客アバタとの位置関係に応じて演者アバタを制御することで、演者の動きの意図を演者アバタ１１に正しく反映させることができる。
　（変形例）
　次に、提示部２００の変形例について説明する。
　図１７は、本開示の実施形態に係る提示部２００の変形例として提示部２０２を示す図である。
　提示部２０２は、図１７（ａ）のように、複数の周状の表示パネル２０２＿１、２０２＿２、２０２＿３、２０２＿４を積み重ねるように配置されている。表示パネル２０２＿１、２０２＿２、２０２＿３、２０２＿４はそれぞれ対応する仮想空間内の様子（観客群や客席等）を表示する。提示部２０２は、図１７（ｂ）のように、上から見た場合、演者１０の周囲を囲んだ略楕円又は略円形を有する。
　演者１０は、各仮想空間における客席が舞台を周状に囲む場合に、仮想空間と同様の位置関係で観客アバタを視認できる。演者１０はより直感的に、観客に対してインタラクションをすることができる。
　図１８は、本開示の実施形態に係る提示部２００の他の変形例として提示部２０３を示す。提示部２０３は、図１８のようにヘッドマウントディスプレイ（ＨＭＤ）であってもよい。提示部２０３は、視界内に４つの仮想空間の様子を自由に配置して、演者１０に対して、４つの仮想空間における観客アバタ群５１０＿１～５１０＿４を視認させることができる。
　図１９は、提示部２０３により提示される４つの仮想空間の他の表示例を示す図である。また、演者が注視する観客アバタを含む仮想空間５００＿１の様子を全画面で表示し、その他の仮想空間の様子を小さい画面で、仮想空間５００＿１の様子を全画面の端などに重ねて表示してもよい。
［応用例］
　以下に、情報処理システム１００の応用例について説明する。なお、上述の情報処理システム１００は、以下の情報処理システム１００の任意のシステム、装置及び方法等に対しても応用可能である。
　図２０は、本開示の情報処理システム１００の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成の一例である。コンピュータにおいて、CPU１００１、ROM１００２、RAM１００３は、バス１００４を介して相互に接続されている。
　バス１００４には、入出力インタフェース１００５も接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１０１０が接続されている。
　入力部１００６は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１００７は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１００８は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１００９は、例えば、ネットワークインタフェースよりなる。ドライブは、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディアを駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５およびバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して適用することができる。その場合、プログラムは、リムーバブルメディアをドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１００９で受信し、記憶部１００８にインストールすることができる。
　本明細書で開示した処理のステップは、必ずしもフローチャートに記載された順序で実行されなくてもよい。例えば、フローチャートに記載した順序と異なる順序でステップが実行されても、フローチャートに記載したステップの一部が並列的に実行されてもよい。
　なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
　なお、本開示は以下のような構成を取ることもできる。
［項目１］
　少なくとも１つの仮想空間に配置された観客アバタ群を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示する提示部と、前記表示領域に提示された前記画像に表される前記観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御する制御部と、を備える。
［項目２］
　前記制御部は、前記演者と、前記表示領域に提示された前記画像が表す前記観客アバタ群との間の第１位置関係と、前記少なくとも１つの仮想空間における前記演者アバタと前記観客アバタ群との間の第２位置関係に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御する
　項目１に記載の情報処理装置。
［項目３］
　前記少なくとも１つの仮想空間は、複数の前記仮想空間を含み、
　前記提示部は、前記表示領域に前記仮想空間ごとに前記観客アバタ群を表す画像を提示し、
　前記制御部は、前記仮想空間ごとに前記演者アバタを制御する
　項目１又は２に記載の情報処理装置。
［項目４］
　前記表示領域に提示された前記画像が表す前記観客アバタ群において前記演者が注視する少なくとも１つの第１観客アバタを特定する特定部を備え、
　前記第１位置関係は、前記演者と前記画像が表す前記第１観客アバタとの位置関係であり、前記制御部は、前記第１位置関係と、前記第１観客アバタを含む前記仮想空間である第１仮想空間において前記第１観客アバタと前記演者アバタとの第２位置関係とに基づき、前記第１仮想空間における前記演者アバタを制御する、
　項目２に記載の情報処理装置。
［項目５］
　前記特定部は、前記演者の視線情報に基づき、前記第１観客アバタを特定する
　項目４に記載の情報処理装置。
［項目６］
　前記第１観客アバタは、前記仮想空間のいずれか１つにおける前記観客アバタ群の少なくとも１つの観客アバタを含む
　項目４又は５に記載の情報処理装置。
［項目７］
　前記第１観客アバタは、２つ以上の前記仮想空間におけるそれぞれの前記観客アバタ群の少なくとも１つの観客アバタを含む
　項目４～６のいずれか一項に記載の情報処理装置。
［項目８］
　前記第１観客アバタを含まない前記仮想空間である第２仮想空間には前記第１仮想空間における前記観客アバタ群の少なくとも一部を含むスクリーンオブジェクトが表示され、　前記制御部は、前記第２仮想空間において前記スクリーンオブジェクトと前記演者アバタとの第３位置関係と、前記第１位置関係とに基づき、前記第２仮想空間における前記演者アバタを制御する
　項目４～７のいずれか一項に記載の情報処理装置。
［項目９］
　前記演者の動作を取得する取得部を備え、
　前記制御部は、前記演者の動作に基づき、前記第２仮想空間における前記演者アバタを制御し、
　前記制御部は、前記第２仮想空間における前記演者アバタの動作を、前記スクリーンオブジェクトの方向に補正する
　項目８に記載の情報処理装置。
［項目１０］
　前記制御部は、前記演者の動作がインタラクション動作かを判断し、前記インタラクション動作の場合にのみ、前記演者アバタの動作を補正する
　項目８又は９に記載の情報処理装置。
［項目１１］
　前記制御部は、前記演者アバタが向く方向と、前記演者アバタから前記スクリーンオブジェクトの方向との差分に応じて、前記演者アバタの動作を補正する
　項目８～１１のいずれか一項に記載の情報処理装置。
［項目１２］
　前記制御部は、前記差分が閾値以下の場合に、前記演者アバタの動作を補正し、前記差分が閾値より大きい場合に、前記演者アバタの動作を補正しない
　項目１１に記載の情報処理装置。
［項目１３］
　前記仮想空間ごとに属性情報が設定されており、
　前記制御部は、前記仮想空間の属性情報に応じて、前記演者アバタの動作を変更する
　項目３～１２のいずれか一項に記載の情報処理装置。
［項目１４］
　前記属性情報は、前記仮想空間に含まれる観客アバタ群に対応する観客群の使用言語又は居住地に基づく
　項目１３に記載の情報処理装置。
［項目１５］
　前記制御部は、前記演者アバタの動作を示す動作データを、前記仮想空間における前記演者アバタを前記動作データに基づき動作させ、前記仮想空間に設定された仮想視点に基づき前記観客アバタ群に対応する観客群に視界画像を提供する、少なくとも１つの端末装置に送信する
　項目１～１４のいずれか一項に記載の情報処理装置。
［項目１６］
　前記制御部は、前記演者アバタを表す画像を、前記仮想空間に前記画像が示す前記演者アバタを配置し、前記仮想空間に設定された仮想視点に基づき前記観客アバタ群に対応する観客群に視界画像を提供する、少なくとも１つの端末装置に送信する
　項目１～１５のいずれか一項に記載の情報処理装置。
［項目１７］
　前記提示部は、前記演者の前方に配置された表示部、前記演者の周囲を囲む形状を有する表示部を含む、又は、前記演者が装着するヘッドマウンドデバイスの表示部を含む
　項目１～１６のいずれか一項に記載の情報処理装置。
［項目１８］
　前記制御部は、前記観客アバタ群に対応する観客群の少なくとも１つの端末装置から前記観客群を撮像した画像データを受信し、
　前記提示部は、前記観客アバタ群を表す前記画像として、前記画像データが示す前記観客群の画像を提示する　項目１～１７のいずれか一項に記載の情報処理装置。
［項目１９］
　少なくとも１つの仮想空間に配置された観客アバタ群を表す画像を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示し、前記表示領域に提示された前記画像に表される観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御する
　情報処理方法。
［項目２０］
　少なくとも１つの仮想空間に配置された観客アバタ群を表す画像を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示するステップと、前記表示領域に提示された前記画像に表される前記観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御するステップとをコンピュータに実行させるためのコンピュータプログラム。
１０　演者
１１　演者アバタ
１２　コンテンツ
１００　情報処理システム
２００、２０３　提示部
３００　演者側装置
３１０　モーション取得部
３２０　視線取得部
３２１　カメラ
３３０　第１位置関係計算部
３４０　第２位置関係計算部
３５０　モーション編集部
３６０　映像データ生成部
３７０　データ配信部
３８０、４１０　データ受信部
３９０　観客映像合成部
４００　観客側装置
４０１　ディスプレイ
４０２　ヘッドマウントディスプレイ
４２０　観客提示部
４３０　観客映像生成部
４４０　観客側送信部
５００　仮想空間
５１０　観客アバタ群
５１１、５１２　観客アバタ
５２０　舞台
５３０、５３１　客席
１００１　CPU
１００２　ROM
１００３　RAM
１００４　バス
１００５　入出力インタフェース
１００６　入力部
１００７　出力部
１００８　記憶部
１００９　通信部
１０１０　ドライブ

Claims (20)

  1. 　少なくとも１つの仮想空間に配置された観客アバタ群を表す画像を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示する提示部と、
    　前記表示領域に提示された前記画像が表す前記観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御する制御部と、
    　を備えた情報処理装置。
  2. 　前記制御部は、前記演者と、前記表示領域に提示された前記画像が表す前記観客アバタ群との間の第１位置関係と、前記少なくとも１つの仮想空間における前記演者アバタと前記観客アバタ群との間の第２位置関係に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御する
    　請求項１に記載の情報処理装置。
  3. 　前記少なくとも１つの仮想空間は、複数の前記仮想空間を含み、
    　前記提示部は、前記表示領域に前記仮想空間ごとに前記観客アバタ群を表す画像を提示し、
    　前記制御部は、前記仮想空間ごとに前記演者アバタを制御する
    　請求項１に記載の情報処理装置。
  4. 　前記表示領域に提示された前記画像が表す前記観客アバタ群において前記演者が注視する少なくとも１つの第１観客アバタを特定する特定部を備え、
    　前記第１位置関係は、前記演者と前記画像が表す前記第１観客アバタとの位置関係であり、前記制御部は、前記第１位置関係と、前記第１観客アバタを含む前記仮想空間である第１仮想空間において前記第１観客アバタと前記演者アバタとの第２位置関係とに基づき、前記第１仮想空間における前記演者アバタを制御する、
    　請求項２に記載の情報処理装置。
  5. 　前記特定部は、前記演者の視線情報に基づき、前記第１観客アバタを特定する
    　請求項４に記載の情報処理装置。
  6. 　前記第１観客アバタは、前記仮想空間のいずれか１つにおける前記観客アバタ群の少なくとも１つの観客アバタを含む
    　請求項４に記載の情報処理装置。
  7. 　前記第１観客アバタは、２つ以上の前記仮想空間におけるそれぞれの前記観客アバタ群の少なくとも１つの観客アバタを含む
    　請求項４に記載の情報処理装置。
  8. 　前記第１観客アバタを含まない前記仮想空間である第２仮想空間には前記第１仮想空間における前記観客アバタ群の少なくとも一部を含むスクリーンオブジェクトが表示され、　前記制御部は、前記第２仮想空間において前記スクリーンオブジェクトと前記演者アバタとの第３位置関係と、前記第１位置関係とに基づき、前記第２仮想空間における前記演者アバタを制御する
    　請求項４に記載の情報処理装置。
  9. 　前記演者の動作を取得する取得部を備え、
    　前記制御部は、前記演者の動作に基づき、前記第２仮想空間における前記演者アバタを制御し、
    　前記制御部は、前記第２仮想空間における前記演者アバタの動作を、前記スクリーンオブジェクトの方向に補正する
    　請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記演者の動作がインタラクション動作かを判断し、前記インタラクション動作の場合にのみ、前記演者アバタの動作を補正する
    　請求項９に記載の情報処理装置。
  11. 　前記制御部は、前記演者アバタが向く方向と、前記演者アバタから前記スクリーンオブジェクトの方向との差分に応じて、前記演者アバタの動作を補正する
    　請求項９に記載の情報処理装置。
  12. 　前記制御部は、前記差分が閾値以下の場合に、前記演者アバタの動作を補正し、前記差分が閾値より大きい場合に、前記演者アバタの動作を補正しない
    　請求項１１に記載の情報処理装置。
  13. 　前記仮想空間ごとに属性情報が設定されており、
    　前記制御部は、前記仮想空間の属性情報に応じて、前記演者アバタの動作を変更する
    　請求項３に記載の情報処理装置。
  14. 　前記属性情報は、前記仮想空間に含まれる観客アバタ群に対応する観客群の使用言語又は居住地に基づく
    　請求項１３に記載の情報処理装置。
  15. 　前記制御部は、前記演者アバタの動作を示す動作データを、前記仮想空間における前記演者アバタを前記動作データに基づき動作させ、前記仮想空間に設定された仮想視点に基づき前記観客アバタ群に対応する観客群に視界画像を提供する、少なくとも１つの端末装置に送信する
    　請求項１に記載の情報処理装置。
  16. 　前記制御部は、前記演者アバタを表す画像を、前記仮想空間に前記画像が示す前記演者アバタを配置し、前記仮想空間に設定された仮想視点に基づき前記観客アバタ群に対応する観客群に視界画像を提供する、少なくとも１つの端末装置に送信する
    　請求項１に記載の情報処理装置。
  17. 　前記提示部は、前記演者の前方に配置された表示部、前記演者の周囲を囲む形状を有する表示部を含む、又は、前記演者が装着するヘッドマウンドデバイスの表示部を含む
    　請求項１に記載の情報処理装置。
  18. 　前記制御部は、前記観客アバタ群に対応する観客群の少なくとも１つの端末装置から前記観客群を撮像した画像データを受信し、
    　前記提示部は、前記観客アバタ群を表す前記画像として、前記画像データが示す前記観客群の画像を提示する
    　請求項１に記載の情報処理装置。
  19. 　少なくとも１つの仮想空間に配置された観客アバタ群を表す画像を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示し、
    　前記表示領域に提示された前記画像に表される観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御する
    　情報処理方法。
  20. 　少なくとも１つの仮想空間に配置された観客アバタ群を表す画像を、前記仮想空間に配置された演者アバタに対応する演者が視認可能な表示領域に提示するステップと、
    　前記表示領域に提示された前記画像に表される前記観客アバタ群に対する前記演者の動作に基づき、前記少なくとも１つの仮想空間における前記演者アバタを制御するステップと
    　をコンピュータに実行させるためのコンピュータプログラム。
PCT/JP2022/006694 2021-06-30 2022-02-18 情報処理装置、情報処理方法及びプログラム WO2023276252A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280044623.1A CN117546458A (zh) 2021-06-30 2022-02-18 信息处理装置、信息处理方法和程序
EP22832419.0A EP4366293A1 (en) 2021-06-30 2022-02-18 Information processing device, information processing method, and program
JP2023531380A JPWO2023276252A1 (ja) 2021-06-30 2022-02-18

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-109216 2021-06-30
JP2021109216 2021-06-30

Publications (1)

Publication Number Publication Date
WO2023276252A1 true WO2023276252A1 (ja) 2023-01-05

Family

ID=84692249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006694 WO2023276252A1 (ja) 2021-06-30 2022-02-18 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
EP (1) EP4366293A1 (ja)
JP (1) JPWO2023276252A1 (ja)
CN (1) CN117546458A (ja)
WO (1) WO2023276252A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014123376A (ja) 2012-12-21 2014-07-03 Dassault Systemes Delmia Corp 仮想オブジェクトの配置補正
WO2016009865A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
JP2018037092A (ja) 2011-10-11 2018-03-08 タイムプレイ インク． インタラクティブ体験のためのシステム及び方法、並びにこのためのコントローラ
JP2020004284A (ja) * 2018-06-29 2020-01-09 株式会社コロプラ システム、プログラム、方法、および情報処理装置
WO2020017261A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2020042575A (ja) 2018-09-11 2020-03-19 富士通株式会社 情報処理装置、位置合わせ方法、及びプログラム
JP2021077257A (ja) * 2019-11-13 2021-05-20 グリー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2021095573A1 (ja) * 2019-11-15 2021-05-20 ソニー株式会社 情報処理システム、情報処理方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037092A (ja) 2011-10-11 2018-03-08 タイムプレイ インク． インタラクティブ体験のためのシステム及び方法、並びにこのためのコントローラ
JP2014123376A (ja) 2012-12-21 2014-07-03 Dassault Systemes Delmia Corp 仮想オブジェクトの配置補正
WO2016009865A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
JP2020004284A (ja) * 2018-06-29 2020-01-09 株式会社コロプラ システム、プログラム、方法、および情報処理装置
WO2020017261A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2020042575A (ja) 2018-09-11 2020-03-19 富士通株式会社 情報処理装置、位置合わせ方法、及びプログラム
JP2021077257A (ja) * 2019-11-13 2021-05-20 グリー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2021095573A1 (ja) * 2019-11-15 2021-05-20 ソニー株式会社 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN117546458A (zh) 2024-02-09
JPWO2023276252A1 (ja) 2023-01-05
EP4366293A1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
US11863845B2 (en) Geometry matching in virtual reality and augmented reality
US11669298B2 (en) Virtual and real object recording in mixed reality device
US9939887B2 (en) Avatar control system
US9779538B2 (en) Real-time content immersion system
US10539797B2 (en) Method of providing virtual space, program therefor, and recording medium
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
US20190287313A1 (en) Head-mountable apparatus and methods
US11961194B2 (en) Non-uniform stereo rendering
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
JP6951394B2 (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
WO2023276252A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20230179756A1 (en) Information processing device, information processing method, and program
JP7172036B2 (ja) ３ｄｃｇ空間の鑑賞条件連動システム、方法、およびプログラム
WO2018161816A1 (zh) 一种投影系统、方法、服务器和控制界面
WO2017199848A1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
WO2023248832A1 (ja) 遠隔視認システム、現地撮像システム
CN112272817B (zh) 用于在沉浸式现实中提供音频内容的方法和装置
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
Chiday Developing a Kinect based Holoportation System
JP2021177409A (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
CN116941234A (zh) 用于运动捕捉的参考系
JP2000123193A (ja) 画像データ生成方法、音響データ生成方法、及び、臨場感生成システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832419

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531380

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280044623.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022832419

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022832419

Country of ref document: EP

Effective date: 20240130