WO2021079766A1 - 表示制御装置、表示制御方法、および表示システム - Google Patents

表示制御装置、表示制御方法、および表示システム Download PDF

Info

Publication number
WO2021079766A1
WO2021079766A1 PCT/JP2020/038434 JP2020038434W WO2021079766A1 WO 2021079766 A1 WO2021079766 A1 WO 2021079766A1 JP 2020038434 W JP2020038434 W JP 2020038434W WO 2021079766 A1 WO2021079766 A1 WO 2021079766A1
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
user
unit
virtual space
calculation result
Prior art date
Application number
PCT/JP2020/038434
Other languages
English (en)
French (fr)
Inventor
進之介 岩城
Original Assignee
株式会社バーチャルキャスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社バーチャルキャスト filed Critical 株式会社バーチャルキャスト
Priority to CN202080054631.5A priority Critical patent/CN114175102A/zh
Priority to US17/626,868 priority patent/US11790588B2/en
Publication of WO2021079766A1 publication Critical patent/WO2021079766A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Definitions

  • the present invention relates to a display control device, a display control method, and a display system.
  • Non-Patent Document 1 proposes a technique for automatically generating a reaction motion of an avatar by a physics engine when an avatar collides with an object.
  • the reaction according to the collision of the objects is automatically performed, the user does not need to operate in accordance with the collision timing of the objects.
  • the avatar's arm does not penetrate the object, so it is possible to deliver a video that makes you feel more realistic.
  • Non-Patent Document 1 when the avatar and the object collide, the avatar automatically reacts regardless of the intention of the user who operates the avatar, so that the state of the avatar that the user thinks and the state of the avatar that the user sees are different. There was a problem that the user felt uncomfortable because they did not match.
  • the present invention has been made in view of the above, and an object of the present invention is to make the collision between the avatar and the object more realistic and to make the user who operates the avatar less likely to feel uncomfortable.
  • the display control device of one aspect of the present invention is a display control device for displaying a virtual space including an avatar operated by a user wearing a head mount display, and control data of the avatar according to the movement of the user.
  • the avatar control unit that generates the above, the calculation unit that calculates the physical behavior of the avatar and the object in response to the collision when the avatar and the object collide, and the calculation result of the calculation unit in the virtual space.
  • a collision occurs as an image to be supplied to the head mount display. It is provided with a drawing unit for rendering the avatar whose behavior according to the above is suppressed within a predetermined range.
  • FIG. 1 is a diagram showing a configuration example of a display system including the display control terminal of the first embodiment.
  • FIG. 2 is a functional block diagram showing a configuration example of the display control terminal of the first embodiment.
  • FIG. 3 is a flowchart showing a processing flow of the display control terminal of the first embodiment.
  • FIG. 4 is a diagram showing an example of an avatar when collision processing is not performed.
  • FIG. 5 is a diagram showing an example of an avatar when collision processing is performed.
  • FIG. 6 is a diagram showing an example when collision processing is performed on only one avatar.
  • FIG. 7 is a diagram showing an example when collision processing is performed only on the other avatar.
  • FIG. 8 is a diagram showing an example of an avatar when collision processing is not performed.
  • FIG. 9 is a diagram showing an example of an avatar when collision processing is performed.
  • FIG. 10 is a diagram showing a configuration example of a video distribution system including the display control terminal of the second embodiment.
  • FIG. 11 is a functional block diagram showing a configuration example of the display control terminal of the second embodiment.
  • FIG. 12 is a flowchart showing a processing flow of the display control terminal of the second embodiment.
  • the display system including the display control terminal of the first embodiment is a system in which each user operates an avatar in the virtual space, chats in the virtual space via the avatar, and can communicate with each other on the network. Is.
  • the display system of FIG. 1 includes a plurality of terminals 10 connected so as to be able to communicate via a network.
  • Each of the terminals 10 is a display control terminal of the first embodiment. Although only two terminals 10 are shown in FIG. 1, three or more users may participate in the chat, and the number of terminals 10 is arbitrary.
  • a controller 20 and a head-mounted display (HMD) 30 are connected to each terminal 10.
  • the user can operate the avatar by the controller 20, and can see the virtual space from the viewpoint of the avatar by wearing the HMD 30.
  • the HMD 30 includes a microphone and a speaker. The user's voice collected by the microphone is transmitted to the terminal 10 of another user. Further, the voice of the other user received from the terminal 10 of the other user is output from the speaker.
  • the avatars operated by each user exist in the same virtual space.
  • the data in the virtual space may be synchronized between the terminals 10, or any terminal 10 may manage the data in the virtual space.
  • the configuration of the terminal 10 will be described with reference to FIG. FIG. 2 shows the terminal 10 used by each user.
  • the terminal 10 includes an avatar control unit 11, a VR space management unit 12, a calculation unit 13, a drawing unit 14, and a communication unit 15.
  • a general-purpose computer system including a central processing unit (CPU), memory, storage, a communication device, and an input / output device can be used.
  • CPU central processing unit
  • memory storage
  • communication device storage
  • an input / output device can be used.
  • each part of the terminal 10 is realized by the CPU executing a predetermined program loaded on the memory.
  • This program can be recorded on a computer-readable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be distributed via a network.
  • the avatar control unit 11 receives the user's posture, position, and operation information from a device such as the controller 20, and generates control data for controlling the user's own avatar's posture and movement.
  • the control data is motion data obtained by motion-capturing the movement of the user.
  • the user's own avatar may be referred to as a "user avatar” and another user's avatar may be referred to as an "other's avatar”. ..
  • the VR space management unit 12 manages the data of the objects existing in the virtual space.
  • the data of the object includes model data and position data of the object.
  • An avatar is one of the objects that exists in the virtual space.
  • Data related to the avatar includes, for example, model data and control data.
  • the data in the virtual space is acquired by each terminal 10 in advance.
  • each terminal 10 may acquire data in the virtual space from a data server (not shown), or may acquire data from another terminal 10.
  • the VR space management unit 12 applies the control data generated by the avatar control unit 11 to the user avatar to update the posture and position of the user avatar, and transfers the control data received from the terminal 10 of another user to another avatar. Apply. Further, if there is an object that moves in the virtual space, the VR space management unit 12 updates the posture and position of the object according to the movement.
  • the data in the virtual space is managed synchronously between the terminals 10, and the virtual space managed by each terminal 10 is the same virtual space. Any terminal 10 may manage the virtual space, or a server (not shown) may manage the virtual space. When managing the virtual space with a specific device, each terminal 10 acquires the data of the virtual space from the device.
  • the calculation unit 13 calculates the physical behavior of each object in response to the collision.
  • a well-known physics calculation engine can be used for the calculation unit 13.
  • the VR space management unit 12 updates the posture and position of each object based on the calculation result.
  • the VR space management unit 12 manages the posture and position information of the user avatar in the state where the calculation result is not applied, in addition to the posture and position information of the user avatar after applying the calculation result. Keep it.
  • the VR space management unit 12 may manage the posture and position information of the user avatar in a state where the calculation result calculated by changing the parameters is applied, or the calculation result is applied by changing the degree of application. Information on the posture and position of the user avatar may be managed.
  • the drawing unit 14 renders the virtual space from the viewpoint of the user avatar, and supplies the rendered image to the HMD 30. At this time, the drawing unit 14 renders the user avatar by replacing the user avatar with the posture and position information of the user avatar managed separately so that the reaction operation of the user avatar is suppressed within a predetermined range.
  • the predetermined range is within the range that the user does not feel uncomfortable. For example, whether or not it is within the predetermined range can be determined based on the degree of dissociation between the posture due to the reaction action of the user avatar and the posture due to the operation of the user and the length of the reaction action.
  • the drawing unit 14 renders the user avatar in a state where the calculation result is not applied.
  • the calculation unit 13 also calculates the behavior of the user avatar when the parameters such as the weight of the object colliding with the user avatar are changed as the calculation result applied to the user avatar by the drawing unit 14, and the drawing unit 14 also calculates the behavior of the user avatar. May render a user avatar to which the calculation result with different parameters is applied. By treating the object that collides with the user avatar as a light object, the reaction operation of the user avatar is suppressed, so that the user does not feel uncomfortable.
  • the drawing unit 14 may render a user avatar to which the calculation result is applied by changing the degree of application. For example, when a heavy object collides with the user avatar, the user avatar staggers greatly when the calculation result of the calculation unit 13 is applied. In this case, when rendering the user avatar, the drawing unit 14 suppresses the degree of application of the calculation result to the user avatar so that the reaction operation of the user avatar becomes a small reaction operation so that the user does not feel uncomfortable. Apply.
  • the reaction action of the user avatar based on the calculation result of the calculation unit 13 is replaced and rendered, so that the reaction action of the user avatar seen by others and the reaction action of the user avatar seen or felt by the user himself are different.
  • the drawing unit 14 may make the calculation result applied to the user avatar different.
  • the communication unit 15 transmits / receives control data of the user avatar and voice data of the user to / from the terminal 10 of another user. More specifically, the communication unit 15 transmits the control data of the user avatar generated by the avatar control unit 11 to the terminal 10 of another user, and receives the control data of the other avatar from the terminal 10 of the other user. To do. Further, the communication unit 15 transmits the voice data of the user collected by the microphone of the HMD 30 to the terminal 10 of the other user, and receives the voice data of the other user from the terminal 10 of the other user.
  • any of the terminals 10 may receive the calculation result of the calculation unit 13 and the data of the virtual space after applying the calculation result from the other terminal 10 without providing the calculation unit 13.
  • the terminal 10 on the left side of FIG. 2 (hereinafter referred to as terminal 10A) includes a calculation unit 13 and the terminal 10 on the right side (hereinafter referred to as terminal 10B) does not include a calculation unit 13, the terminal 10B is a terminal.
  • the drawing unit 14 of the terminal 10B determines the posture and position of the user avatar B to which the calculation result is applied for the user avatar B of the user B of the terminal 10B, and the posture of the user avatar B to which the calculation result is not applied. Replace with position and render virtual space.
  • a server may include a VR space management unit 12 and a calculation unit 13.
  • the server receives the control data of the avatar from each terminal 10.
  • the VR space management unit 12 applies the control data to the avatar in the virtual space
  • the calculation unit 13 executes the collision process and applies the calculation result to the virtual space.
  • Each terminal 10 receives the data of the virtual space after applying the calculation result from the server.
  • the drawing unit 14 of each terminal 10 determines the posture and position of the user avatar to which the calculation result is applied for the user avatar of the user who uses the terminal 10, and the posture and position of the user avatar to which the calculation result is not applied. Replace with position and render virtual space.
  • the server may include the drawing unit 14.
  • the server receives the user's line-of-sight information from each of the terminals 10A and 10B.
  • the drawing unit 14 transmits a video obtained by rendering a virtual space in which the calculation result is not applied to the user avatar A to the terminal 10A, and the calculation result is applied to the user avatar B to the terminal 10B.
  • the terminals 10A and 10B may have a function of capturing the motion of the users A and B and a function of displaying the received video.
  • step S11 the avatar control unit 11 receives information such as the posture of the user from the controller 20 and generates control data of the user avatar.
  • the communication unit 15 transmits the control data generated by the avatar control unit 11 to another terminal 10.
  • step S12 the communication unit 15 receives the control data of the other person's avatar from the other terminal 10.
  • step S13 the VR space management unit 12 applies the control data to the avatar and updates the posture and position of the moving object.
  • step S14 the calculation unit 13 performs collision processing between objects. For example, the calculation unit 13 determines whether or not there is a colliding object, obtains information such as a collision position, a collision direction, and an overlapping depth for the colliding object, and obtains information such as the collision position, the collision direction, and the overlapping depth, and the mass and speed of the object. , And the behavior of each object in response to a collision is calculated based on information such as the coefficient of restitution.
  • the VR space management unit 12 reflects the calculation result of the calculation unit 13 in the virtual space and updates the posture and position of the object. For example, when the avatar 100A hits the head of the avatar 100B, the arm of the avatar 100A and the head of the avatar 100B collide with each other as shown in FIG. When the calculation result of the calculation unit 13 is reflected in each of the avatars 100A and 100B, as shown in FIG. 5, the arm of the avatar 100A and the head of the avatar 100B are not sunk.
  • the VR space management unit 12 separately manages the posture and position of the user avatar in a state where the calculation result is not applied. For example, the posture and position of the avatar 100A in FIG. 4 are managed separately.
  • the VR space management unit 12 may separately manage the posture and position of the applied user avatar by changing the degree of application of the calculation result, or may manage the posture and position of the user avatar to which the calculated result calculated by changing the parameters is applied. It may be managed separately.
  • step S16 the drawing unit 14 renders the virtual space without applying the calculation result to the user avatar, and supplies the rendered image to the HMD 30.
  • the position of the arm of the avatar 100A becomes the position shown in FIG.
  • the user since the user operates the avatar 100A by lowering the arm to the position shown in FIG. 4, the user's operation and the posture of the avatar 100A do not match, and the user feels uncomfortable.
  • the posture and position of the user avatar to which the calculation result is not applied are also managed, and the drawing unit 14 replaces the user avatar to which the calculation result is applied with the user avatar to which the calculation result is not applied, and creates a virtual space.
  • the drawing unit 14 replaces the user avatar to which the calculation result is applied with the user avatar to which the calculation result is not applied, and creates a virtual space.
  • the user who operates the avatar 100B is presented with a rendered image in which the avatar 100B is replaced with the avatar 100B to which the calculation result is not applied (the avatar 100B in FIG. 4).
  • the calculation result is applied to the avatar 100A.
  • the video in which the avatars 100A and 100B to which the calculation result is applied as shown in FIG. 5 is rendered is presented.
  • the user who operates the avatar 100 is provided with a rendered image of the avatar 100 to which the calculation result is not applied, as shown in FIG.
  • the other users are provided with an image obtained by rendering the avatar 100 to which the calculation result is applied as shown in FIG.
  • the calculation unit 13 performs object collision processing to calculate the physical behavior of each object, and the VR space management unit 12 calculates the calculation result of the calculation unit 13 for each object.
  • the user avatar is rendered so that the reaction operation of the user avatar is suppressed within a predetermined range for the user avatar operated by the user.
  • a user avatar that reacts in response to a collision with an object can be presented to others other than the user, and a user avatar that suppresses the reaction action can be presented to the user. It is possible to give reality to the collision of an object with the user avatar without giving a sense of discomfort to the movement of the user avatar.
  • the video distribution system including the display control terminal of the second embodiment is a system in which the distributor operates the distributor avatar in the virtual space and distributes the video in the virtual space to the viewer.
  • the viewer can have the viewer avatar operated by the viewer participate in the same virtual space as the distributor avatar.
  • the video distribution system of FIG. 10 includes a distributor terminal 40 and a distribution server 50, which are display control terminals of the second embodiment.
  • the distributor terminal 40 and the distribution server 50 are communicably connected via a network.
  • the distribution server 50 receives the video rendered in the virtual space from the distributor terminal 40, and distributes the received video to the viewer terminal 60.
  • the distribution server 50 may perform live video distribution in which the received video is distributed in real time, or may store the received video and distribute the video in response to a request from the viewer terminal 60.
  • the viewer terminal 60 is a terminal for the viewer to view the video.
  • a device such as a mobile terminal or a personal computer can be used as the viewer terminal 60 as long as it is a device capable of viewing the delivered video.
  • the viewer terminal 60 may receive the data of the virtual space and render the virtual space.
  • the viewer terminal 60 connects an HMD, a controller, or the like, and uses a device having a VR function.
  • the terminal 10 of the first embodiment is used as the viewer terminal 60, and the data in the virtual space is synchronized with the distributor terminal 40.
  • the configuration of the distributor terminal 40 will be described with reference to FIG.
  • the distributor terminal 40 includes an avatar control unit 11, a VR space management unit 12, a calculation unit 13, a drawing unit 14, a communication unit 15, a distribution video drawing unit 16, and a distribution unit 17.
  • the distributor terminal 40 includes a distribution video drawing unit 16 that renders a video for distribution and a distribution unit 17 that distributes the video in the terminal 10 of the first embodiment.
  • the avatar control unit 11 receives the posture, position, and operation information of the distributor from a device such as the controller 20, and generates control data for controlling the posture and movement of the distributor avatar.
  • the VR space management unit 12 manages the data of the objects existing in the virtual space.
  • the VR space management unit 12 applies the control data generated by the avatar control unit 11 to the distributor avatar to update the posture and position of the distributor avatar.
  • the VR space management unit 12 applies the control data received from the viewer terminal 60 of the participating viewer to the model data of the viewer avatar.
  • the calculation unit 13 calculates the physical behavior of the objects in response to the collision.
  • the VR space management unit 12 adds the posture and position information of the distributor avatar after applying the calculation result to the posture and position information of the distributor avatar in the state where the calculation result is not applied.
  • the VR space management unit 12 may manage the posture and position information of the distributor avatar in the state where the calculation result calculated by changing the parameters is applied, or the degree of application may be changed. The posture and position information of the distributor avatar in the state where the calculation result is applied may be managed.
  • the drawing unit 14 renders the virtual space from the viewpoint of the distributor avatar without applying the calculation result to the distributor avatar, and supplies the rendered video to the HMD 30. Similar to the first embodiment, the drawing unit 14 renders the distributor avatar so that the reaction operation of the distributor avatar is suppressed within a predetermined range.
  • the communication unit 15 transmits and receives the control data of the avatar and the voice data to and from the viewer terminal 60 of the participating viewer.
  • the communication unit 15 may receive comments (character information) from the viewer terminal 60, or may receive information such as gifts and items.
  • the distributor terminal 40 may display an object displaying the content of the comment in the virtual space for the comment received from the viewer terminal 60.
  • the distributor terminal 40 may make an object corresponding to a gift or item received from the viewer terminal 60 appear in the virtual space.
  • the distributor avatar reacts based on the calculation result of the calculation unit 13.
  • the distribution video drawing unit 16 renders a virtual space in which the calculation result of the calculation unit 13 is applied to the distributor avatar, and generates a video for distribution.
  • the distribution video drawing unit 16 may render the virtual space from the viewpoint of the distributor avatar, or may render the virtual space from the viewpoint of a virtual camera arranged in the virtual space. Audio data of the distributor and the participants may be added to the video for distribution.
  • the distribution unit 17 transmits the video for distribution rendered by the distribution video drawing unit 16 to the distribution server 50.
  • the distribution server 50 distributes the received video to each of the viewer terminals 60.
  • the distribution server 50 may include the distribution video drawing unit 16 and the distribution unit 17. In this case, the distribution server 50 holds the data in the virtual space and synchronizes the data in the virtual space with the distributor terminal 40. The distribution server 50 renders the virtual space and distributes it to the viewer terminal 60.
  • the distribution server 50 may include the VR space management unit 12 and the calculation unit 13 to manage the data in the virtual space, and the distributor terminal 40 may acquire the data in the virtual space from the distribution server 50.
  • the drawing unit 14 of the distributor terminal 40 replaces the distributor avatar with the distributor avatar to which the calculation result of the calculation unit 13 is not applied, and renders the virtual space.
  • the distribution server 50 may include the drawing unit 14 to render the video supplied to the distributor's HMD 30.
  • the operation of the distributor terminal 40 will be described with reference to the flowchart of FIG. In the following, the case where the calculation result is not applied to the distributor avatar will be described, but the same applies to the case where the application degree of the calculation result is suppressed or the calculation result calculated by changing the parameters is applied.
  • step S21 the avatar control unit 11 receives information such as the posture of the distributor from the controller 20 and generates control data of the distributor avatar.
  • the communication unit 15 transmits the control data generated by the avatar control unit 11 to the viewer terminal 60 of the participating viewer.
  • step S22 the VR space management unit 12 applies control data to the avatar and updates the posture and position of the moving object. Further, the VR space management unit 12 applies the control data received from the viewer terminal 60 of the participating viewers to the viewer avatar.
  • step S23 the calculation unit 13 performs collision processing between objects.
  • step S24 the VR space management unit 12 reflects the calculation result of the calculation unit 13 in the virtual space and updates the posture and position of the object. At this time, the VR space management unit 12 separately manages the posture and position of the distributor avatar in a state where the calculation result is not applied.
  • step S25 the distribution video drawing unit 16 renders the virtual space to which the calculation result of the calculation unit 13 is applied, and generates the distribution video. As shown in FIG. 9, for example, the distribution video drawing unit 16 renders a virtual space in which the calculation result is applied to the avatar.
  • step S26 the distribution unit 17 transmits the distribution video.
  • step S27 the drawing unit 14 renders the virtual space without applying the calculation result to the distributor avatar, and supplies the rendered video to the HMD 30.
  • the drawing unit 14 renders a virtual space in which the calculation result is not applied to the avatar. That is, the drawing unit 14 renders the virtual space in which the distributor avatar is replaced with the avatar to which the calculation result is not applied.
  • the distributor terminal 40 may have a function of notifying the distributor of the collision between the distributor avatar and the object.
  • the distributor terminal 40 notifies the distributor by sound when the distributor avatar and the object collide with each other. At the moment of impact when the distributor avatar and the object collide, the sound corresponding to the collision is heard by both the distributor and the viewer. While the distributor avatar and the object are in contact, let the distributor hear a sound notifying that they are in contact only. As shown in FIGS. 8 and 9, when the object 110 collides with the head of the avatar 100, the sound effect of the object 110 colliding with the avatar 100 is heard by the distributor and the viewer at the moment of the collision. After that, while the object 110 is on the head of the avatar 100, only the distributor continues to hear the sound indicating that the object 110 is colliding with the avatar 100.
  • the distributor terminal 40 shows the video that the viewer is watching to the distributor.
  • the distributor terminal 40 displays the image viewed by the viewer on a monitor in the virtual space. For example, a monitor is placed in front of the line of sight of the distributor avatar.
  • the drawing unit 14 renders the user avatar to which the calculation result is applied, in addition to the user avatar whose reaction operation is suppressed within a predetermined range. At this time, the drawing unit 14 draws by changing the display mode, such as making the user avatar to which the calculation result is applied semitransparent.
  • a configuration for notifying a collision between an avatar and an object may be applied to the first embodiment.
  • the calculation unit 13 performs object collision processing to calculate the physical behavior of each object, and the VR space management unit 12 calculates the calculation result of the calculation unit 13 for each object.
  • the distributor avatar operated by the distributor is arranged so that the reaction operation of the distributor avatar is suppressed within a predetermined range. To render.
  • the viewer can be presented with the distributor avatar that reacts in response to the collision with the object, and the distributor can be presented with the distributor avatar that suppresses the reaction. It is possible to give reality to the collision of the object with the distributor avatar without making the distributor avatar feel uncomfortable with the movement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本実施形態の端末１０は、ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置であり、ユーザの動きに応じたアバターの制御データを生成するアバター制御部１１と、アバターとオブジェクトが衝突したときに、当該衝突に応じたアバターとオブジェクトの物理的な挙動を計算する演算部１３と、演算部１３の計算結果を仮想空間に適用するＶＲ空間管理部１２と、計算結果を適用したアバターの姿勢とユーザの操作に基づくアバターの姿勢とが所定以上乖離するときに、ヘッドマウントディスプレイに供給する映像として、衝突に応じた挙動が所定内に抑えられたアバターをレンダリングする描画部１４を備える。

Description

表示制御装置、表示制御方法、および表示システム
　本発明は、表示制御装置、表示制御方法、および表示システムに関する。
　近年、仮想現実（ＶＲ）空間においてユーザがアバターを操作して番組を配信したり、アバターを介してユーザ同士でコミュニケーションを取ったりできるサービスが広まっている。
　視聴者がＶＲ空間に投げ入れたオブジェクトがアバターに衝突したとき、またはアバター同士が接触したときなど、ユーザの操作するアバターにオブジェクトが衝突したときに、アバターがオブジェクトの衝突タイミングに合わせて反応動作しなければ、視聴者はアバターにオブジェクトが衝突したことをリアルに感じることができない。
　非特許文献１では、アバターとオブジェクトが衝突したときに、アバターの反応動作を物理エンジンにより自動生成する技術が提案されている。非特許文献１では、オブジェクトの衝突に応じた反応が自動的に行われるので、ユーザはオブジェクトの衝突タイミングに合わせて動作する必要がない。また、アバターが他のアバターやオブジェクトに接触した場合も、アバターの腕がオブジェクトを突き抜けることがなくなるので、よりリアリティを感じることができる映像を配信できる。
杉森健、外４名、「演技サポート！ギフトが当たると勝手に動くＶＴｕｂｅｒアバター」、ＣＥＤＥＣ２０１９、一般社団法人コンピュータエンターテインメント協会、２０１９年９月４日
　しかしながら、非特許文献１では、アバターとオブジェクトが衝突したときにアバターを操作するユーザの意思とは関係なくアバターが自動的に反応するため、ユーザの思うアバターの状態とユーザの見るアバターの状態が一致せずに、ユーザが違和感を抱くという問題があった。
　本発明は、上記に鑑みてなされたものであり、アバターとオブジェクトとの衝突にリアリティを持たせつつ、アバターを操作するユーザに違和感を抱かせにくくすることを目的とする。
　本発明の一態様の表示制御装置は、ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置であって、前記ユーザの動きに応じた前記アバターの制御データを生成するアバター制御部と、前記アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの物理的な挙動を計算する演算部と、前記演算部の計算結果を前記仮想空間に適用する仮想空間管理部と、前記計算結果を適用した前記アバターの姿勢と前記ユーザの操作に基づく前記アバターの姿勢とが所定以上乖離するときに、前記ヘッドマウントディスプレイに供給する映像として、衝突に応じた挙動が所定内に抑えられた前記アバターをレンダリングする描画部とを備える。
　本発明によれば、アバターとオブジェクトとの衝突にリアリティを持たせつつ、アバターを操作するユーザに違和感を抱かせにくくすることができる。
図１は、第１の実施形態の表示制御端末を含む表示システムの構成例を示す図である。 図２は、第１の実施形態の表示制御端末の構成例を示す機能ブロック図である。 図３は、第１の実施形態の表示制御端末の処理の流れを示すフローチャートである。 図４は、衝突処理をしないときのアバターの一例を示す図である。 図５は、衝突処理をしたときのアバターの一例を示す図である。 図６は、一方のアバターのみに衝突処理をしたときの一例を示す図である。 図７は、他方のアバターのみに衝突処理をしたときの一例を示す図である。 図８は、衝突処理をしないときのアバターの一例を示す図である。 図９は、衝突処理をしたときのアバターの一例を示す図である。 図１０は、第２の実施形態の表示制御端末を含む映像配信システムの構成例を示す図である。 図１１は、第２の実施形態の表示制御端末の構成例を示す機能ブロック図である。 図１２は、第２の実施形態の表示制御端末の処理の流れを示すフローチャートである。
　［第１の実施形態］
　以下、第１の実施形態の表示制御端末を含む表示システムについて図面を用いて説明する。
　第１の実施形態の表示制御端末を含む表示システムは、ユーザのそれぞれが仮想空間内のアバターを操作し、アバターを介して仮想空間でチャットを行い、ネットワーク上で互いにコミュニケーションを取ることができるシステムである。
　図１の表示システムは、ネットワークを介して通信可能に接続された複数の端末１０を備える。端末１０のそれぞれが第１の実施形態の表示制御端末である。図１では、端末１０を２台のみ図示しているが、３人以上のユーザがチャットに参加してもよく、端末１０の台数は任意である。
　各端末１０には、コントローラ２０とヘッドマウントディスプレイ（ＨＭＤ）３０が接続される。ユーザは、コントローラ２０によりアバターを操作でき、ＨＭＤ３０を装着してアバターの視点から仮想空間を見ることができる。ＨＭＤ３０は、マイクとスピーカーを備える。マイクで集音されたユーザの音声は、他のユーザの端末１０へ送信される。また、他のユーザの端末１０から受信した他のユーザの音声は、スピーカーから出力される。
　各ユーザの操作するアバターは同一の仮想空間内に存在する。端末１０間で仮想空間のデータを同期させてもよいし、いずれかの端末１０が仮想空間のデータを管理してもよい。
　図２を参照し、端末１０の構成について説明する。図２には、各ユーザの用いる端末１０を示している。端末１０は、アバター制御部１１、ＶＲ空間管理部１２、演算部１３、描画部１４、および通信部１５を備える。端末１０には、例えば、中央演算処理装置（ＣＰＵ）、メモリ、ストレージ、通信装置、および入出力装置を備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、端末１０の各部が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。
　アバター制御部１１は、コントローラ２０などの機器からユーザの姿勢、位置、および操作情報を受信し、ユーザ自身のアバターの姿勢および動きを制御するための制御データを生成する。制御データは、ユーザの動きをモーションキャプチャしたモーションデータである。以下、ユーザ自身が操作するアバターと他のユーザが操作するアバターとを区別する際、ユーザ自身のアバターを「ユーザアバター」と称し、他のユーザのアバターを「他者アバター」と称することもある。
　ＶＲ空間管理部１２は、仮想空間内に存在するオブジェクトのデータを管理する。オブジェクトのデータとしては、オブジェクトのモデルデータおよび位置データがある。アバターは、仮想空間内に存在するオブジェクトのひとつである。アバターに関連したデータとしては、例えばモデルデータと制御データがある。仮想空間のデータは、各端末１０が事前に取得しておく。例えば、各端末１０は、仮想空間のデータをデータサーバ（図示せず）から取得してもよいし、他の端末１０から取得してもよい。
　ＶＲ空間管理部１２は、アバター制御部１１の生成した制御データをユーザアバターに適用してユーザアバターの姿勢と位置を更新するとともに、他のユーザの端末１０から受信した制御データを他者アバターに適用する。また、ＶＲ空間管理部１２は、仮想空間内で動くオブジェクトがあれば、その動きに応じてオブジェクトの姿勢と位置を更新する。仮想空間のデータは、端末１０間で同期して管理されて、各端末１０の管理する仮想空間は同一の仮想空間となる。いずれかの端末１０が仮想空間を管理してもよいし、サーバ（図示せず）が仮想空間を管理してもよい。特定の装置で仮想空間を管理する場合、各端末１０は、仮想空間のデータを当該装置から取得する。
　演算部１３は、仮想空間内でオブジェクト（アバターを含む）同士が衝突したときに、衝突に応じた各オブジェクトの物理的な挙動を計算する。演算部１３には、周知の物理演算エンジンを利用できる。
　ＶＲ空間管理部１２は、計算結果に基づき、各オブジェクトの姿勢と位置を更新する。ＶＲ空間管理部１２は、ユーザアバターについては、計算結果を適用後のユーザアバターの姿勢と位置の情報に加えて、計算結果を適用してない状態のユーザアバターの姿勢と位置の情報を管理しておく。もしくは、ＶＲ空間管理部１２は、パラメータを変えて計算した計算結果を適用した状態のユーザアバターの姿勢と位置の情報を管理してもよいし、適用度合いを変えて計算結果を適用した状態のユーザアバターの姿勢と位置の情報を管理してもよい。
　描画部１４は、仮想空間をユーザアバターの視点でレンダリングし、レンダリングした映像をＨＭＤ３０に供給する。このとき、描画部１４は、ユーザアバターについては、ユーザアバターの反応動作が所定内に抑えられるように、別に管理したユーザアバターの姿勢と位置の情報に差し替えて、ユーザアバターをレンダリングする。所定内とは、ユーザが違和感を抱かない程度内である。例えば、所定内であるか否かは、ユーザアバターの反応動作による姿勢とユーザの操作による姿勢との乖離度合いおよび反応動作の長さに基づいて決めることができる。
　ＨＭＤ３０に供給する映像においてユーザアバターの反応動作を所定内に抑える方法として、描画部１４は、計算結果を適用していない状態のユーザアバターをレンダリングする。
　あるいは、演算部１３は、描画部１４がユーザアバターに適用する計算結果として、ユーザアバターに衝突したオブジェクトの重さなどのパラメータを変えたときのユーザアバターの挙動も計算しておき、描画部１４は、パラメータを変えた計算結果を適用したユーザアバターをレンダリングしてもよい。ユーザアバターに衝突したオブジェクトを軽いものとして扱うことで、ユーザアバターの反応動作が抑えられるのでユーザが違和感を抱きにくくなる。
　あるいは、描画部１４は、適用度合いを変えて計算結果を適用したユーザアバターをレンダリングしてもよい。例えば、重いオブジェクトがユーザアバターに衝突した場合、演算部１３の計算結果を適用するとユーザアバターは大きくよろめく。この場合、描画部１４は、ユーザアバターをレンダリングする際、ユーザアバターの反応動作がユーザが違和感を抱かない程度の小さな反応動作となるように計算結果の適用度合いを抑えて計算結果をユーザアバターに適用する。
　いずれの場合も、ユーザ以外の他人は、演算部１３の通常の計算結果が適用されて大きく反応するユーザアバターを見る。ＨＭＤ３０に供給される映像では、演算部１３の計算結果によるユーザアバターの反応動作が差し替えられてレンダリングされるので、他人が見るユーザアバターの反応動作とユーザ自身の見るまたは感じるユーザアバターの反応動作は異なる。
　なお、オブジェクトの衝突によってユーザアバターが所定以上の反応動作する場合に、ユーザアバターに計算結果を適用しなかったり、計算結果の適用度合いを抑えたり、パラメータを変えて計算した計算結果を適用したりしてもよい。つまり、描画部１４は、計算結果を適用したユーザアバターの姿勢とユーザの操作に基づくユーザアバターの姿勢とが所定以上乖離するときに、ユーザアバターに適用する計算結果を異ならせてもよい。
　通信部１５は、ユーザアバターの制御データおよびユーザの音声データを他のユーザの端末１０との間で送受信する。より具体的には、通信部１５は、アバター制御部１１が生成したユーザアバターの制御データを他のユーザの端末１０へ送信するとともに、他のユーザの端末１０から他者アバターの制御データを受信する。また、通信部１５は、ＨＭＤ３０のマイクで集音したユーザの音声データを他のユーザの端末１０へ送信するとともに、他のユーザの端末１０から他のユーザの音声データを受信する。
　なお、端末１０のいずれかは演算部１３を備えずに、他の端末１０から演算部１３の計算結果や計算結果を適用後の仮想空間のデータを受信してもよい。例えば、図２の左側の端末１０（以下、端末１０Ａとする）が演算部１３を備え、右側の端末１０（以下、端末１０Ｂとする）は演算部１３を備えない場合、端末１０Ｂは、端末１０Ａから計算結果を適用後の仮想空間のデータを受信する。このとき、端末１０Ｂの描画部１４は、端末１０ＢのユーザＢのユーザアバターＢについては、計算結果が適用されたユーザアバターＢの姿勢および位置を計算結果が適用されていないユーザアバターＢの姿勢および位置に差し替えて、仮想空間をレンダリングする。
　システム全体で上記の機能を実現できるならば、端末１０の備える各部の処理を実行する装置は問わない。例えば、サーバ（図示せず）がＶＲ空間管理部１２と演算部１３を備えてもよい。サーバは、各端末１０からアバターの制御データを受信する。ＶＲ空間管理部１２が仮想空間内のアバターに制御データを適用するとともに、演算部１３が衝突処理を実行し、計算結果を仮想空間に適用する。各端末１０は、サーバから計算結果を適用後の仮想空間のデータを受信する。このとき、各端末１０の描画部１４は、当該端末１０を使用するユーザのユーザアバターについては、計算結果が適用されたユーザアバターの姿勢および位置を計算結果が適用されていないユーザアバターの姿勢および位置に差し替えて、仮想空間をレンダリングする。
　また、サーバが描画部１４を備えてもよい。サーバは、端末１０Ａ，１０Ｂのそれぞれからユーザの視線情報を受信する。描画部１４は、端末１０Ａに対しては、ユーザアバターＡに計算結果が適用されていない仮想空間をレンダリングした映像を送信し、端末１０Ｂに対しては、ユーザアバターＢに計算結果が適用されていない仮想空間をレンダリングした映像を提供する。この場合、端末１０Ａ，１０Ｂは、ユーザＡ，Ｂのモーションをキャプチャする機能および受信した映像を表示する機能を有していればよい。
　図３のフローチャートを参照して、端末１０の動作について説明する。以下では、ユーザアバターに計算結果を適用しない場合について説明するが、計算結果の適用度合いを抑えたり、パラメータを変えて計算した計算結果を適用したりする場合も同様である。
　ステップＳ１１にて、アバター制御部１１は、コントローラ２０からユーザの姿勢などの情報を受信し、ユーザアバターの制御データを生成する。通信部１５は、アバター制御部１１の生成した制御データを他の端末１０へ送信する。
　ステップＳ１２にて、通信部１５は、他の端末１０から他者アバターの制御データを受信する。
　ステップＳ１３にて、ＶＲ空間管理部１２は、アバターに制御データを適用するとともに、動いているオブジェクトの姿勢と位置を更新する。
　ステップＳ１４にて、演算部１３は、オブジェクト同士の衝突処理を行う。例えば、演算部１３は、衝突しているオブジェクトが存在するか否か判定し、衝突しているオブジェクトについて、衝突位置、衝突方向、および重なっている深度などの情報を求め、オブジェクトの質量、速度、および反発係数などの情報に基づき、衝突に応じた各オブジェクトの挙動を計算する。
　ステップＳ１５にて、ＶＲ空間管理部１２は、演算部１３の計算結果を仮想空間に反映し、オブジェクトの姿勢と位置を更新する。例えば、アバター１００Ａがアバター１００Ｂの頭部を叩く動作をしたとき、図４に示すように、アバター１００Ａの腕とアバター１００Ｂの頭部が衝突する。演算部１３の計算結果をアバター１００Ａ，１００Ｂのそれぞれに反映すると、図５に示すように、アバター１００Ａの腕とアバター１００Ｂの頭部がめり込まない状態となる。
　なお、ＶＲ空間管理部１２は、計算結果を適用しない状態のユーザアバターの姿勢と位置を別に管理しておく。例えば、図４のアバター１００Ａの姿勢と位置を別に管理しておく。ＶＲ空間管理部１２は、計算結果の適用度合いを変えて適用したユーザアバターの姿勢と位置を別に管理してもよいし、パラメータを変えて計算した計算結果を適用したユーザアバターの姿勢と位置を別に管理してもよい。
　ステップＳ１６にて、描画部１４は、ユーザアバターに計算結果を適用しないで仮想空間をレンダリングし、レンダリングした映像をＨＭＤ３０に供給する。
　例えば、アバター１００Ａに計算結果を適用するとアバター１００Ａの腕の位置は図５に示した位置になる。ところが、ユーザはアバター１００Ａの腕を図４に示した位置まで下げた操作をしているので、ユーザの操作とアバター１００Ａの姿勢が一致せずに、ユーザは違和感を抱いてしまう。
　そこで、本実施形態では、計算結果を適用しないユーザアバターの姿勢と位置も管理しておき、描画部１４は、計算結果を適用したユーザアバターを計算結果を適用しないユーザアバターに差し替えて、仮想空間をレンダリングする。例えば、アバター１００Ａを操作するユーザには、図６に示すように、アバター１００Ａを計算結果を適用していないアバター１００Ａ（図４のアバター１００Ａ）に差し替えてレンダリングした映像を提示する。図６では、アバター１００Ｂには計算結果を適用している。他方、アバター１００Ｂを操作するユーザには、図７に示すように、アバター１００Ｂを計算結果を適用していないアバター１００Ｂ（図４のアバター１００Ｂ）に差し替えてレンダリングした映像を提示する。図７では、アバター１００Ａには計算結果を適用している。なお、アバター１００Ａ，１００Ｂを操作するユーザ以外のユーザには、図５に示した、計算結果を適用したアバター１００Ａ，１００Ｂをレンダリングした映像を提示する。
　アバターとアバター以外のオブジェクトとの衝突についても同様に処理する。例えば、図８に示すように、アバター１００にオブジェクト１１０が衝突したとする。演算部１３の計算結果をアバター１００とオブジェクト１１０のそれぞれに反映すると、図９に示すように、アバター１００の姿勢が大きく崩れた状態となる。
　アバター１００を操作するユーザには、図８に示した、計算結果を適用しないアバター１００をレンダリングした映像を提供する。それ以外のユーザには、図９に示した、計算結果を適用したアバター１００をレンダリングした映像を提供する。
　以上説明したように、本実施形態によれば、演算部１３がオブジェクトの衝突処理を行って各オブジェクトの物理的な挙動を計算し、ＶＲ空間管理部１２が演算部１３の計算結果を各オブジェクトに適用し、描画部１４がユーザの装着するＨＭＤ３０に供給する映像をレンダリングする際、ユーザの操作するユーザアバターについては、ユーザアバターの反応動作が所定の範囲内に抑えられるようにユーザアバターをレンダリングする。これにより、ユーザ以外の他者に対してはオブジェクトとの衝突に応じて反応動作をするユーザアバターを提示できるとともに、ユーザに対しては反応動作が抑えられたユーザアバターを提示できるので、ユーザにユーザアバターの動きに対する違和感を抱かせることなく、ユーザアバターへのオブジェクトの衝突にリアリティを持たせることができる。
　［第２の実施形態］
　以下、第２の実施形態の表示制御端末を含む映像配信システムについて図面を用いて説明する。
　第２の実施形態の表示制御端末を含む映像配信システムは、配信者が仮想空間内の配信者アバターを操作し、仮想空間内の映像を視聴者に配信するシステムである。視聴者は映像を見るだけでなく、視聴者の操作する視聴者アバターを配信者アバターと同一の仮想空間内に参加させることもできる。
　図１０の映像配信システムは、第２の実施形態の表示制御端末である配信者端末４０と配信サーバ５０を備える。配信者端末４０と配信サーバ５０は、ネットワークを介して通信可能に接続される。
　配信サーバ５０は、配信者端末４０から仮想空間をレンダリングした映像を受信し、受信した映像を視聴者端末６０へ配信する。配信サーバ５０は、受信した映像をリアルタイムで配信するライブ映像配信を行ってもよいし、受信した映像を記憶しておき、視聴者端末６０からの求めに応じて映像を配信してもよい。
　視聴者端末６０は、視聴者が映像を見るための端末である。配信される映像を見ることができる機器であれば、携帯端末、パーソナルコンピュータなどの機器を視聴者端末６０として利用できる。視聴者端末６０が仮想空間のデータを受信して仮想空間をレンダリングしてもよい。また、視聴者がライブ映像配信に参加する場合、視聴者端末６０は、ＨＭＤおよびコントローラなどを接続し、ＶＲ機能を有する機器を利用する。例えば、視聴者端末６０として第１の実施形態の端末１０を利用し、配信者端末４０との間で仮想空間のデータを同期させる。
　図１１を参照し、配信者端末４０の構成について説明する。配信者端末４０は、アバター制御部１１、ＶＲ空間管理部１２、演算部１３、描画部１４、通信部１５、配信映像描画部１６、および配信部１７を備える。配信者端末４０は、第１の実施形態の端末１０に、配信用の映像をレンダリングする配信映像描画部１６と映像を配信する配信部１７を備えたものである。
　アバター制御部１１は、コントローラ２０などの機器から配信者の姿勢、位置、および操作情報を受信し、配信者アバターの姿勢および動きを制御するための制御データを生成する。
　ＶＲ空間管理部１２は、仮想空間内に存在するオブジェクトのデータを管理する。ＶＲ空間管理部１２は、アバター制御部１１の生成した制御データを配信者アバターに適用して配信者アバターの姿勢と位置を更新する。視聴者が参加している場合、ＶＲ空間管理部１２は、参加している視聴者の視聴者端末６０から受信した制御データを視聴者アバターのモデルデータに適用する。
　演算部１３は、仮想空間内でオブジェクト同士が衝突したときに、衝突に応じたオブジェクトの物理的な挙動を計算する。ＶＲ空間管理部１２は、配信者アバターについては、計算結果を適用後の配信者アバターの姿勢と位置の情報に加えて、計算結果を適用してない状態の配信者アバターの姿勢と位置の情報を管理しておく。第１の実施形態と同様に、ＶＲ空間管理部１２は、パラメータを変えて計算した計算結果を適用した状態の配信者アバターの姿勢と位置の情報を管理してもよいし、適用度合いを変えて計算結果を適用した状態の配信者アバターの姿勢と位置の情報を管理してもよい。
　描画部１４は、配信者アバターには計算結果を適用しないで、仮想空間を配信者アバターの視点でレンダリングし、レンダリングした映像をＨＭＤ３０に供給する。描画部１４は、第１の実施形態と同様に、配信者アバターについては、配信者アバターの反応動作が所定内に抑えられるように配信者アバターをレンダリングする。
　通信部１５は、アバターの制御データおよび音声データを参加している視聴者の視聴者端末６０との間で送受信する。また、通信部１５は、視聴者端末６０からコメント（文字情報）を受信してもよいし、ギフトやアイテムなどの情報を受信してもよい。配信者端末４０は、視聴者端末６０から受信したコメントについて、仮想空間内にコメントの内容を表示したオブジェクトを表示させてもよい。配信者端末４０は、視聴者端末６０から受信したギフトやアイテムに対応するオブジェクトを仮想空間内に出現させてもよい。これらのコメント、ギフト、およびアイテムに対応するオブジェクトが配信者アバターに衝突すると、配信者アバターは、演算部１３の計算結果に基づいた反応動作をする。
　配信映像描画部１６は、配信者アバターにも演算部１３の計算結果を適用した仮想空間をレンダリングし、配信用の映像を生成する。配信映像描画部１６は、配信者アバターの視点で仮想空間をレンダリングしてもよいし、仮想空間に配置した仮想カメラの視点で仮想空間をレンダリングしてもよい。配信用の映像に、配信者および参加者の音声データを付加してもよい。
　配信部１７は、配信映像描画部１６のレンダリングした配信用の映像を配信サーバ５０へ送信する。配信サーバ５０は、受信した映像を視聴者端末６０のそれぞれに配信する。
　なお、配信映像描画部１６および配信部１７を配信サーバ５０が備えてもよい。この場合、配信サーバ５０は仮想空間のデータを保持し、配信者端末４０との間で仮想空間のデータを同期する。配信サーバ５０が仮想空間をレンダリングして視聴者端末６０に配信する。配信サーバ５０がＶＲ空間管理部１２と演算部１３を備えて仮想空間のデータを管理し、配信者端末４０が配信サーバ５０から仮想空間のデータを取得してもよい。配信者端末４０の描画部１４は、配信者アバターを演算部１３の計算結果が適用されていない配信者アバターに差し替えて仮想空間をレンダリングする。配信サーバ５０が描画部１４を備えて配信者のＨＭＤ３０に供給する映像をレンダリングしてもよい。
　図１２のフローチャートを参照して、配信者端末４０の動作について説明する。以下では、配信者アバターに計算結果を適用しない場合について説明するが、計算結果の適用度合いを抑えたり、パラメータを変えて計算した計算結果を適用したりする場合も同様である。
　ステップＳ２１にて、アバター制御部１１は、コントローラ２０から配信者の姿勢などの情報を受信し、配信者アバターの制御データを生成する。視聴者が参加している場合、通信部１５は、アバター制御部１１の生成した制御データを参加している視聴者の視聴者端末６０へ送信する。
　ステップＳ２２にて、ＶＲ空間管理部１２は、アバターに制御データを適用するとともに、動いているオブジェクトの姿勢と位置を更新する。また、ＶＲ空間管理部１２は、参加している視聴者の視聴者端末６０から受信した制御データを視聴者アバターに適用する。
　ステップＳ２３にて、演算部１３は、オブジェクト同士の衝突処理を行う。
　ステップＳ２４にて、ＶＲ空間管理部１２は、演算部１３の計算結果を仮想空間に反映し、オブジェクトの姿勢と位置を更新する。このとき、ＶＲ空間管理部１２は、計算結果を適用しない状態の配信者アバターの姿勢と位置を別に管理しておく。
　ステップＳ２５にて、配信映像描画部１６は、演算部１３の計算結果が適用された仮想空間をレンダリングし、配信映像を生成する。配信映像描画部１６は、例えば図９に示したように、アバターに計算結果が適用された仮想空間をレンダリングする。
　ステップＳ２６にて、配信部１７は、配信映像を送信する。
　ステップＳ２７にて、描画部１４は、配信者アバターに計算結果を適用しないで仮想空間をレンダリングし、レンダリングした映像をＨＭＤ３０に供給する。描画部１４は、例えば図８に示したように、アバターに計算結果を適用していない仮想空間をレンダリングする。つまり、描画部１４は、配信者アバターを計算結果を適用していないアバターに差し替えた仮想空間をレンダリングする。
　なお、配信者アバターに計算結果を適用しない場合、配信者は、配信者アバターにオブジェクトが衝突したことに気付かない可能性がある。そこで、配信者端末４０は、配信者アバターとオブジェクトとの衝突を配信者に通知する機能を備えてもよい。
　例えば、配信者端末４０は、配信者アバターとオブジェクトとが衝突したときに、配信者に音で通知する。配信者アバターとオブジェクトが衝突したインパクトの瞬間は、衝突に応じた音を配信者と視聴者の双方に聞こえるようにする。配信者アバターとオブジェクトが接触している間、配信者に対してのみ接触していることを通知する音を聞かせる。図８，９で示したように、オブジェクト１１０がアバター１００の頭に衝突した場合、衝突した瞬間では、オブジェクト１１０がアバター１００に衝突した効果音を配信者と視聴者に聞かせる。その後、オブジェクト１１０がアバター１００にくの頭に乗った状態の間、配信者のみにオブジェクト１１０がアバター１００に衝突していることを示す音を聞かせ続ける。
　あるいは、配信者端末４０は、視聴者の見ている映像を配信者に見せる。配信者端末４０は、視聴者の見ている映像を仮想空間内のモニタに表示する。例えば、配信者アバターの視線の先にモニタを配置しておく。
　あるいは、描画部１４は、反応動作を所定の範囲内に抑えたユーザアバターに加えて、計算結果を適用したユーザアバターもレンダリングする。このとき、描画部１４は、計算結果を適用したユーザアバターを半透明にするなど、表示態様を変えて描画する。
　アバターとオブジェクトとの衝突を通知する構成を第１の実施形態に適用してもよい。
　以上説明したように、本実施形態によれば、演算部１３がオブジェクトの衝突処理を行って各オブジェクトの物理的な挙動を計算し、ＶＲ空間管理部１２が演算部１３の計算結果を各オブジェクトに適用し、描画部１４がユーザの装着するＨＭＤ３０に供給する映像をレンダリングする際、配信者の操作する配信者アバターについては、配信者アバターの反応動作が所定内に抑えられるように配信者アバターをレンダリングする。これにより、視聴者に対してはオブジェクトとの衝突に応じて反応動作をする配信者アバターを提示できるとともに、配信者に対しては反応動作が抑えられた配信者アバターを提示できるので、配信者に配信者アバターの動きに対する違和感を抱かせることなく、配信者アバターへのオブジェクトの衝突にリアリティを持たせることができる。
　１０…端末　１１…アバター制御部　１２…ＶＲ空間管理部　１３…演算部　１４…描画部　１５…通信部　１６…配信映像描画部　１７…配信部　２０…コントローラ　３０…ＨＭＤ　４０…配信者端末　５０…配信サーバ　６０…視聴者端末

Claims (6)

  1. 　ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置であって、
    　前記ユーザの動きに応じた前記アバターの制御データを生成するアバター制御部と、
    　前記アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの物理的な挙動を計算する演算部と、
    　前記演算部の計算結果を前記仮想空間に適用する仮想空間管理部と、
    　前記計算結果を適用した前記アバターの姿勢と前記ユーザの操作に基づく前記アバターの姿勢とが所定以上乖離するときに、前記ヘッドマウントディスプレイに供給する映像として、衝突に応じた挙動が所定内に抑えられた前記アバターをレンダリングする描画部とを備える
    　表示制御装置。
  2. 　請求項１に記載の表示制御装置であって、
    　前記描画部は、前記計算結果を前記ユーザの操作するアバターに適用しない、適用度合いを変更して前記計算結果を前記ユーザの操作するアバターに適用する、またはパラメータを変えて計算した別の計算結果を前記ユーザの操作するアバターに適用することで、前記アバターの挙動が所定内に抑えられた映像をレンダリングする
    　表示制御装置。
  3. 　請求項１または２に記載の表示制御装置であって、
    　前記アバターとオブジェクトが衝突したことを前記ユーザに通知する通知部を備える
    　表示制御装置。
  4. 　請求項１ないし３のいずれかに記載の表示制御装置であって、
    　前記演算部の計算結果を適用した前記仮想空間をレンダリングした映像を配信する配信部を備える
    　表示制御装置。
  5. 　ヘッドマウントディスプレイを装着したユーザが操作するアバターを含む仮想空間を表示するための表示制御装置が実行する表示制御方法であって、
    　前記ユーザの動きに応じた前記アバターの制御データを生成するステップと、
    　前記アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの物理的な挙動を計算するステップと、
    　計算するステップで求めた計算結果を前記仮想空間に適用するステップと、
    　前記計算結果を適用した前記アバターの姿勢と前記ユーザの操作に基づく前記アバターの姿勢とが所定以上乖離するときに、前記ヘッドマウントディスプレイに供給する映像として、衝突に応じた挙動が所定内に抑えられた前記アバターをレンダリングするステップとを有する
    　表示制御方法。
  6. 　第１、第２のユーザがそれぞれ使用する第１、第２の表示制御装置を備え、ヘッドマウントディスプレイを装着した前記第１、第２のユーザのそれぞれが操作する第１、第２のアバターを介して仮想空間においてコミュニケーションをとる表示システムであって、
    　前記第１の表示制御装置は、
    　　第１のユーザの動きに応じた第１のアバターの制御データを生成する第１のアバター制御部と、
    　　前記第１のユーザの装着するヘッドマウントディスプレイに供給する映像として、前記仮想空間をレンダリングする第１の描画部と、を備え、
    　前記第２の表示制御装置は、
    　　第２のユーザの動きに応じた第２のアバターの制御データを生成する第２のアバター制御部と、
    　　前記第２のユーザの装着するヘッドマウントディスプレイに供給する映像として、前記仮想空間をレンダリングする第２の描画部と、を備え、
    　少なくとも前記第１の表示制御装置または前記第２の表示制御装置のいずれか一方は、アバターとオブジェクトが衝突したときに、当該衝突に応じた前記アバターと前記オブジェクトの物理的な挙動を計算する演算部を備え、
    　前記第１、第２の表示制御装置の間で前記演算部の計算結果を適用した前記仮想空間が同期され、
    　前記第１の描画部は、前記計算結果を適用した前記第１のアバターの姿勢と前記第１のユーザの操作に基づく前記第１のアバターの姿勢とが所定以上乖離するときに、衝突に応じた挙動が所定内に抑えられた前記第１のアバターをレンダリングし、
    　前記第２の描画部は、前記計算結果を適用した前記第２のアバターの姿勢と前記第２のユーザの操作に基づく前記第２のアバターの姿勢とが所定以上乖離するときに、衝突に応じた挙動が所定内に抑えられた前記第２のアバターをレンダリングする
    　表示システム。
PCT/JP2020/038434 2019-10-25 2020-10-12 表示制御装置、表示制御方法、および表示システム WO2021079766A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080054631.5A CN114175102A (zh) 2019-10-25 2020-10-12 显示控制装置、显示控制方法以及显示系统
US17/626,868 US11790588B2 (en) 2019-10-25 2020-10-12 Display control device, display control method, and display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019194266A JP6761888B1 (ja) 2019-10-25 2019-10-25 表示制御装置、表示制御方法、および表示システム
JP2019-194266 2019-10-25

Publications (1)

Publication Number Publication Date
WO2021079766A1 true WO2021079766A1 (ja) 2021-04-29

Family

ID=72614625

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038434 WO2021079766A1 (ja) 2019-10-25 2020-10-12 表示制御装置、表示制御方法、および表示システム

Country Status (4)

Country Link
US (1) US11790588B2 (ja)
JP (1) JP6761888B1 (ja)
CN (1) CN114175102A (ja)
WO (1) WO2021079766A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6761888B1 (ja) * 2019-10-25 2020-09-30 株式会社バーチャルキャスト 表示制御装置、表示制御方法、および表示システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013533537A (ja) * 2010-06-02 2013-08-22 マイクロソフト コーポレーション アバター・ジェスチャーの表示制限
JP2018010487A (ja) * 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2018097517A (ja) * 2016-12-12 2018-06-21 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018175849A (ja) * 2018-02-23 2018-11-15 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6761888B1 (ja) * 2019-10-25 2020-09-30 株式会社バーチャルキャスト 表示制御装置、表示制御方法、および表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013533537A (ja) * 2010-06-02 2013-08-22 マイクロソフト コーポレーション アバター・ジェスチャーの表示制限
JP2018010487A (ja) * 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2018097517A (ja) * 2016-12-12 2018-06-21 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018175849A (ja) * 2018-02-23 2018-11-15 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUGIMORI, KEN ET AL: "VTuber avatar that canfreely change the hardness of the body when interacting with an object", INTERACTION PAPERS 2019, 27 February 2019 (2019-02-27), pages 843 - 845 *

Also Published As

Publication number Publication date
JP6761888B1 (ja) 2020-09-30
US20220262058A1 (en) 2022-08-18
CN114175102A (zh) 2022-03-11
US11790588B2 (en) 2023-10-17
JP2021068269A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
JP6700463B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
JP7258864B2 (ja) エレクトロニックスポーツのバーチャルリアリティ観戦のための会場マッピング
EP3491781B1 (en) Private communication by gazing at avatar
JP6759451B2 (ja) 人による追跡装置のオクルージョンの影響を低減するシステム及び方法
CN107636605B (zh) 传达在头戴式显示器渲染的环境中的虚拟对象的触感和移动的动态手套
JP6706473B2 (ja) 情報処理装置、表示制御方法、及び表示制御プログラム
WO2020090786A1 (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
JP2020518321A (ja) Ｖｒ環境への第２の画面の仮想ウィンドウ
US11861058B2 (en) Communication device, communication method, and communication program
JP6807455B2 (ja) 情報処理装置および画像生成方法
JPWO2019234879A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP2019175323A (ja) シミュレーションシステム及びプログラム
WO2021079766A1 (ja) 表示制御装置、表示制御方法、および表示システム
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP7309627B2 (ja) 配信装置、視聴者端末、配信方法、情報処理方法、およびプログラム
US11206452B2 (en) Video display system, information processing apparatus, and video display method
JP2021068427A (ja) 表示制御装置、表示制御方法、および表示システム
WO2023073991A1 (ja) 情報処理システム、サーバ装置、情報処理方法およびプログラム
WO2022190919A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
CN116964544A (zh) 信息处理装置、信息处理终端、信息处理方法和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879719

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20879719

Country of ref document: EP

Kind code of ref document: A1