WO2020090786A1 - 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム - Google Patents

仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム Download PDF

Info

Publication number
WO2020090786A1
WO2020090786A1 PCT/JP2019/042289 JP2019042289W WO2020090786A1 WO 2020090786 A1 WO2020090786 A1 WO 2020090786A1 JP 2019042289 W JP2019042289 W JP 2019042289W WO 2020090786 A1 WO2020090786 A1 WO 2020090786A1
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
virtual space
avatars
data
distribution
Prior art date
Application number
PCT/JP2019/042289
Other languages
English (en)
French (fr)
Inventor
尚 小嶋
寛明 齊藤
進之介 岩城
Original Assignee
株式会社ドワンゴ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ドワンゴ filed Critical 株式会社ドワンゴ
Priority to US17/258,277 priority Critical patent/US11205293B2/en
Priority to CN201980046970.6A priority patent/CN112424760A/zh
Publication of WO2020090786A1 publication Critical patent/WO2020090786A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality

Definitions

  • the present disclosure relates to an avatar display system in a virtual space, an avatar display method in a virtual space, and a computer program.
  • Patent Document 1 discloses a configuration in which the display mode of avatars is changed according to the distance between a plurality of avatars appearing in the virtual space. Specifically, in the first stage where the distance is farthest away, a static avatar image that does not perform animation is drawn, in the second stage when approaching from there, the avatar performs only walking animation, and in the third stage when further approaching, the avatar does not Gesture motion animation of the upper body is performed, and in the fourth step, which is the closest, the actual face picture of the avatar operator is embedded in the face part of the avatar, and in the live content distribution in the virtual space where a large number of people participate, the required transmission bandwidth and It is intended to reduce the load on the CPU (Central Processing Unit) or the like to improve the feasibility.
  • CPU Central Processing Unit
  • Patent Document 2 in an image generation system that attempts to draw the motion of a wave as a virtual object using computer graphics (CG) instead of a proxy object of a person, a wave CG drawing object .
  • CG computer graphics
  • viewers will appear in this live content as avatars of their own or designed appearance, and as a result, other viewers will be able to view this live content. By being visually recognized, you can be satisfied with your presence.
  • the viewer since the viewer can view the virtual space provided by the live content from the viewpoint of the viewer avatar, the immersive feeling is enhanced.
  • viewers can also enjoy conversations in the virtual space as avatars with the avatars of the distributors who host and deliver this live content, or with avatars of other viewers who are also participating. It leads to increase the immersive feeling in the virtual space.
  • Avatar contact such as having fun or having a conversation with other avatars, not only the way of enjoying explained above, but also shaking hands with other avatars and enjoying dancing with other avatars You may want to enjoy the action.
  • both avatars need to hold out their own hands and align the palms of the other avatars with a certain degree of precision.
  • the data transmission speed for drawing may be suppressed in order to reduce the load on the system, especially when these drawing objects move.
  • the movement of the avatar is thinned out rather than the movement of the human body that a human feels in the real space, and the drawing is performed intermittently. For this reason, it has been difficult to provide a system that includes actions such as handshaking between avatars, where the avatars are in contact with each other, that is natural, has a good operational feel when operating the avatars, and that includes drawing avatars. It was
  • the present invention has been made in view of the above situation, and when broadcasting movements in a virtual space as live content, actions such as handshakes in which avatars appearing in the virtual space contact each other are unnatural.
  • the invention provides an avatar display system in a virtual space, an avatar display method in a virtual space, and a computer program for solving the problem of providing a configuration that has a good operational feeling from the standpoint of operating an avatar. The purpose of.
  • the present invention provides an avatar display system in a virtual space, an avatar display method in a virtual space, and a computer program described in 1) to 7) below.
  • the position / direction information of each avatar in (2) or (2) the rendered data of each avatar in the three-dimensional virtual space is distributed to each of the plurality of terminals from the distribution unit.
  • An avatar display system in a virtual space that realizes computer graphic animation display of each avatar,
  • a distance information generation unit that generates distance information between the respective avatars is further provided, and the control unit included in the system performs the distribution performed by the distribution unit according to the generated mutual distance information.
  • An avatar display system in a virtual space characterized by being configured to change the amount of information per unit time.
  • the distance information generation unit further includes a step of generating distance information of each avatar in the three-dimensional virtual space, and a control unit of the system is executed in a distribution step according to the generated mutual distance information.
  • a method for displaying an avatar in a virtual space characterized in that it is configured to change the amount of information per unit time of distribution.
  • FIG. 1 is a schematic diagram of the configuration of a content delivery / reception system according to the present invention.
  • FIG. 2 is a block diagram schematically showing a configuration example of a content distribution server included in the content distribution / reception system of FIG.
  • FIG. 3 is a block diagram schematically showing a configuration example of a distributor terminal included in the content distribution receiving system of FIG.
  • FIG. 4 is a block diagram schematically showing a configuration example of a first viewer terminal included in the content delivery / reception system of FIG.
  • FIG. 5 is a schematic external view of the first viewer terminal shown in FIG.
  • FIG. 6 is a sequence chart of an example of viewing live broadcast content, which is executed by the content delivery / reception system of the present invention.
  • FIG. 1 is a schematic diagram of the configuration of a content delivery / reception system according to the present invention.
  • FIG. 2 is a block diagram schematically showing a configuration example of a content distribution server included in the content distribution / reception system of FIG.
  • FIG. 3 is a
  • FIG. 7 is a schematic diagram of a virtual space distributed by the content distribution / reception system of the present invention.
  • FIG. 8 is a schematic diagram of a virtual space distribution video distributed by the content distribution receiving system of the present invention.
  • FIG. 9 is a schematic diagram of avatar rendering data used in the content delivery / reception system of the present invention.
  • FIG. 10 is a sequence chart for explaining an example of an operation when the viewer avatar participates in the content being live broadcast in the content delivery / reception system of the present invention.
  • FIG. 11 is a schematic diagram of a virtual section added by a viewer avatar, which is distributed by the content distribution / reception system of the present invention.
  • FIG. 12 is a schematic diagram of a distribution image viewed from each viewpoint of the virtual space of FIG.
  • FIG. 11 distributed by the content distribution / reception system of the present invention.
  • FIG. 13 is a schematic diagram of an example of an action in which avatars contact each other, which is used in the content delivery / reception system of the present invention.
  • FIG. 14 is an explanatory diagram comparing the details of the case where the avatars shake hands with each other between the conventional technology and the present invention.
  • FIG. 15 is an explanatory diagram for explaining details when the avatars shake hands, which is executed by the content delivery / reception system of the present invention.
  • FIG. 16 is a flowchart for explaining the operation of the handshake shown in FIG.
  • FIG. 17 is a schematic diagram showing various display modes in the content delivery / reception system of the present invention.
  • FIG. 1 is a diagram schematically showing the configuration of a content delivery / reception system 1 according to the present invention.
  • the content distribution receiving system 1 is configured to include a content distribution server 2, a distributor terminal 11, a first viewer terminal 12, and a second viewer terminal 22, each of which has an Internet communication network 3 or other communication. They are connected by a network so that they can exchange data with each other.
  • the content distribution server 2 is a server configured so that a general-purpose computer operates with a computer program dedicated to the system 1.
  • the distributor terminal 11 is, for example, a personal computer that is used for live Internet broadcasting, which is distribution of live content using a virtual space 30, which will be described later, and is used by a distributor who hosts this live content.
  • the first viewer terminal 12 is, for example, a personal computer used by a viewer who views the above-mentioned live content as a live broadcast, or is realized by using various information terminals such as a smartphone and a PDA (personal digital assistant). Good.
  • the second viewer terminal 22 is, for example, a personal computer used by a viewer who views the above-described live content in the form of playback content or live Internet broadcasting, or various information terminals such as smartphones and PDAs (personal digital assistants). The points that may be realized by using the same are also the same.
  • FIG. 1 and the above description have limited the number of terminals or the like to be mentioned in the description for the sake of brevity and clarity, but of course, in implementing the present invention, a larger number of viewer terminals may be used. Can be configured to include.
  • FIG. 2 is a block diagram schematically showing a configuration example of a content distribution server included in the content distribution / reception system of FIG.
  • the content distribution server 2 includes an input / output interface 2a that is a data transmission end inside and outside the server, and a control unit 2b that includes a CPU (central processing unit) that controls and controls the operation of each server 2 configuration.
  • a CPU central processing unit
  • the content information storage unit 2c included in the server 2 includes information about content (program) on which live internet broadcasting is being performed or is about to be performed in the future, information about a distributor who distributes the content, and information about an avatar from the outside. Information about whether the participation is accepted or rejected, or the information of the specific viewer when only the specific viewer is allowed to participate in the avatar is recorded.
  • the content distribution unit 2d transmits the live content transmitted from the distributor terminal 11 to each terminal that has requested the viewing for viewing.
  • the program storage unit 2f stores programs and the like for realizing each execution operation of the server 2.
  • the user management unit 2g includes a distributor terminal used by a distributor who hosts each live content described above, a viewer terminal used by a viewer who views the live content, views, modifies or adds the content, etc.
  • Information is stored as data such as an IP (Internet Protocol) address and account information for a moving image distribution service. Therefore, using the information stored in the user management unit 2g, a certain live content is transmitted and supplied to which terminal. Whether or not it is stored as data.
  • the bus line 2i connects the respective components of the server 2 so that data can be exchanged with each other.
  • FIG. 3 is a block diagram of a distributor terminal included in the content distribution receiving system of FIG.
  • the distributor terminal 11 first includes a control unit including an input / output interface 11a that is an information input / output terminal inside and outside the terminal, and a CPU (central processing unit) that controls and controls each configuration of the terminal 11. 11b.
  • a control unit including an input / output interface 11a that is an information input / output terminal inside and outside the terminal, and a CPU (central processing unit) that controls and controls each configuration of the terminal 11. 11b.
  • the specification of the avatar which is one of the specification data of the virtual object, explained above.
  • avatar appearance data, avatar voice character data, avatar sound effect data, avatar music data, etc. are stored in the data storage unit 11i of the distributor terminal 11, and the avatar operation unit 11c
  • These motion data are acquired by using the acceleration sensor attached to the body such as the distributor who is the operator, the data obtained by photographing the movement of oneself with the 3D camera, or the data obtained by sensing the movement of each part of the body by the Doppler sensor.
  • FIG. 9 is a schematic diagram of avatar rendering data used in the content delivery / reception system of the present invention. Specifically, as shown in FIG. 9, the avatar operation unit 11c prepares the specification data including the appearance data 9-1 of the avatar, which is one of the specification data of the virtual object, or the system does not It is determined by selecting from prepared and offered for selection, or by designating URL (uniform resource locator) of appearance data or specification data arranged on the net.
  • URL uniform resource locator
  • motion data 9-2 which is the result of sensing the movements of various parts of the body of the distributor itself, as shown in FIG. 9B
  • the positions of each part of the body are obtained as nodes 9-2a, and the movement information is obtained.
  • Information on the branch 9-2b connecting the nodes 9-2a may be further generated to clarify the relationship between the nodes 9-2a.
  • the avatar specification data which is one of the specification data of the virtual object, means, for example, when a man operates an avatar having the appearance of a young woman, the voice generated by the man is changed to a voice of the young woman.
  • the voice frequency characteristic data speech character data
  • the special sound effect when the avatar moves the music data characteristically flowing to the back when the avatar appears, and other data may be included. Of course good.
  • the rendering unit 11e is configured to render (draw) these virtual objects using the specification data of the virtual objects transmitted from the outside of the terminal 11 or stored inside the terminal 11 and the motion data of the virtual objects. Then, the data related to the virtual object of the live content currently being delivered from the terminal 11 is received from the server 2 and used for monitoring for confirming the content in real time.
  • the rendering unit 11e throws the avatar specification data including the avatar appearance data 9-1 shown above and the motion data 9-2 into the three-dimensional virtual space as will be described later. Rendering for visualizing the virtual space by using the specification data and motion data of the virtual object, the background image of the three-dimensional virtual space, and the specification data and motion data of the virtual object placed in the virtual space.
  • the obtained image of the virtual space including the included virtual object is displayed on the display unit 11f of the distributor terminal 11.
  • the position of each place and the avatar appearance data 9-1 that is one of the specification data of the virtual object are The motion is obtained from the motion data 9-2, and avatar rendering data 9-3 indicating the current position and motion of the avatar is generated.
  • the rendering should be performed using the avatar's appearance data 9-1 which is still image data, not moving image data, and the data of the nodes 9-2a and the branches 9-2b constituting the avatar motion data 9-2. Since the appearance data 9-1 is still image data, the data capacity is small, and the data of the nodes 9-2a and the branches 9-2b are not image data but coordinate data or motion of a limited number of points. Since this is vector data, this also has a small data capacity, and as a result, the load on the transmission path and hardware required for data transmission, reception, storage and rendering can be made extremely small.
  • the appearance data 9-1 of the avatar and the specification data are specified not as raw data (concrete raw data) themselves but as URL (uniform resource locator) storage destination of data on the WEB, a smaller character string Data can be sent and stored.
  • the avatar is displayed not only in appearance but also in sound (in the present specification, "display” means not only displaying an image but also displaying a sound using a speaker, a vibrator, etc., a sound effect, etc.
  • the information of the voice uttered by the avatar and the character information of the voice may be included in the targets of the data transmitted / received or stored by the system 1.
  • the original utterance of the male is first memorized and the memorized male voice is stored. Will be used to display the avatar as a voice of a young woman.
  • the voice character information used for the voice change (frequency spectrum of voice of a young female character, etc.) is included in the avatar appearance information or other information together with the voice information of the person who operates the avatar such as the distributor. The points are valid.
  • sound effects explosion sound, collision sound, flight sound, onomatopoeia, etc.
  • music may be added. It may be data to be transmitted / received or stored.
  • the specification data may include data relating to vibration, and in that case, for example, a controller (an operation tool having a button or the like) for operating the avatar may be caused to vibrate.
  • a controller an operation tool having a button or the like
  • the display unit 11f displays screens for the distributor to view the live content, monitor the rendered image to confirm the contents of the live content currently distributed by the distributor, and perform various operations.
  • the configuration is performed by a display panel of a personal computer, a goggle type HMD (head mounted display) mounted on the face, or the like.
  • the operation unit 11g is used by the distributor to operate various operations, and may be, for example, a keyboard, a mouse, or a touch panel of a personal computer, or a device operated by the operator's motion data.
  • the program storage unit 11h stores a computer program required for distribution and viewing of live content, and may include a general-purpose computer operating system (OS), Internet browsing program (browser), and the like.
  • the data storage unit 11i stores background data of virtual space used for live content, specification data of virtual data, motion data, and the like.
  • the comment posting unit 11k is displayed on the display screen of the live content, is displayed on the surface of the virtual object in the virtual space 30, or is an independent object like a large character object. This is a configuration for posting a comment, which is character information displayed as a virtual object, to the server 2.
  • the bus line 11m connects each component of the distributor terminal 11 so that data can be exchanged with each other.
  • the first viewer terminal 12 and the second viewer terminal 22 have a common configuration, and the first viewer terminal 12 will be described below as an example.
  • FIG. 4 is a block diagram schematically showing a configuration example of a first viewer terminal included in the content delivery / reception system of FIG.
  • the first viewer terminal 12 includes a control unit including an input / output interface 12a, which is a data transmission / reception end inside and outside the terminal 12, and a CPU (central processing unit) that controls and controls various parts of the terminal 12. It has 12b.
  • the avatar specification data which is one of the virtual object specification data described above
  • the avatar appearance data, the avatar voice character data, the avatar sound effect data, the avatar music data, and the like are stored in the data storage unit.
  • the avatar operating unit 12c stores the avatar operating unit 12c in order to allow the viewer, who is the operator, to make the virtual avatar, which is his / her virtual alternation, appear in the virtual space and perform a desired action.
  • the acceleration sensor attached to the 3D camera data obtained by shooting your own movement with a 3D camera, or data obtained by sensing the movements of your body with a Doppler sensor, you can obtain these motion data and use them as they are or as image information rendered. Is transmitted to the server 2.
  • the avatar operation unit 12c prepares the avatar specification data including the avatar appearance data 9-1 which is one of the virtual data specification data. Alternatively, it is determined by selecting from the systems prepared and provided for selection, or by specifying the URL (uniform resource locator) of the specification data including the appearance data arranged on the net. Then, as motion data 9-2 which is the result of sensing the movements of various parts of the body, as shown in FIG. 9B, the position information and the movement information of each part of the body are obtained as nodes 9-2a. Information on the branch 9-2b connecting the nodes 9-2a may be further generated to clarify the relationship between the nodes 9-2a.
  • the avatar is displayed not only in appearance but also in sound (in the present specification, "display” means not only displaying an image but also displaying a sound using a speaker, a vibrator, etc., a sound effect, etc.
  • display means not only displaying an image but also displaying a sound using a speaker, a vibrator, etc., a sound effect, etc.
  • the information of the voice uttered by the avatar and the character information of the voice including the appearance data of the avatar are included in the target of the data transmitted / received or stored by the system 1 as the avatar specification data. You may do it.
  • the avatar has the appearance and character of a young woman and the distributor who operates the avatar is a male
  • the original utterance of the male is first memorized, and the memorized male voice is voice-changed to the young female.
  • Character information of the utterance used for the voice change (frequency spectrum of the utterance of a young female character, etc.) is included in the avatar specification information that includes the appearance information of the avatar together with the utterance information of the person who operates the avatar such as the viewer. The point to do is effective.
  • sound effects explosion sound, collision sound, flight sound, onomatopoeia, etc.
  • music may be added. It may be data to be transmitted / received or stored. They are also added to the avatar specification data, along with appearance information or other data.
  • the item posting unit 12e uses the virtual object specification data including the appearance data of the avatar and the motion of the virtual object described above in order for the viewer to display his or her avatar in the live content that he or she is watching. It is used to post data to the server 2 or to post a new virtual object in the live content that is being played back and viewed.
  • the display unit 12f is configured to display a screen so that the viewer himself / herself can view live content and perform various operations.
  • the display unit 12f is a display panel of a personal computer or a goggle-type HMD (worn on the face). Head mounted display).
  • the operation unit 12g is used by the viewer to operate various operations, and may be a keyboard, mouse, touch panel of a personal computer, or a device operated by motion data of the operator.
  • the program storage unit 12h stores a computer program necessary for viewing live content, and may include a general-purpose computer operating system (OS), Internet browsing program (browser), and the like.
  • the data storage unit 12i stores the data described above and various other data.
  • the comment posting unit 12k is displayed on the display screen of the live content, on the surface of the virtual object in the virtual space 30, or as an independent virtual object such as a huge character-shaped virtual object. This is a configuration for posting a comment, which is character information, to the server 2.
  • the bus line 12m connects the components of the viewer terminal 12 so that data can be exchanged with each other.
  • FIG. 5 is a schematic external view of the first viewer terminal shown in FIG. FIG. 5 schematically shows an example of the external appearance of the first viewer terminal 12 realized by a personal computer.
  • the display panel 12-1 displays various video images, still images, moving images, and character information.
  • a viewer inputs a URL (uniform resource locator) known in advance and connects to the server 2 in order to use the service of the present system 1, the server 2 receives necessary data and Javascript (JavaScript). (Registered trademark)) program is sent, and a portal screen (not shown) of the video distribution service is displayed.
  • URL uniform resource locator
  • Javascript Javascript
  • portal screen not shown
  • FIG. 5 shows a situation in which the live content preselected by the viewer is displayed. There is.
  • the display panel 12-1 has a moving image display area 12-1a for displaying a live content moving image, in which a avatar 12-1b of a distributor who is a distributor of this live content and this live content are displayed. Trees 12-1n and houses 12-1o, which are virtual objects arranged in the virtual space used by, are displayed.
  • the comment 12-1r posted by the viewer who views the content is displayed in the display panel 12-1, and the comment 12-1r with the content "Thank you for uploading !" Appears from the right end of the display panel 12-1, scrolls to the left end, and disappears.
  • the comment 12-1r is displayed in a larger area than the moving image display area 12-1a for displaying the live content moving image, and the comment 12-1r is set so as to protrude from the moving image display area 12-1a. It can be clearly understood that it was posted by a contributor other than the content distributor, not the content.
  • a home button display 12-1e for returning to the portal (entrance) page (not shown) of the video distribution service, and used when the content to be viewed is not live broadcast but playback content
  • a stop button display 12-1f, a pause button display 12-1g, and a playback button display 12-1h are displayed.
  • the comment posting button display 12-1i in the display panel 12-1 is for posting the comment explained above to the content viewed by the viewer when the terminal 12 is the viewer terminal. It is a button.
  • the seek button display 12-1m indicates the current playback time.
  • the position of the seek button display 12-1m can be moved with the mouse pointer 12-3 to move to a time point at which reproduction is desired.
  • the operation unit 12g described above includes the mouse pointer 12-3 and the mouse cursor 12-2, and the viewer terminal 12 also includes the keyboard 12-4.
  • FIG. 6 is a sequence chart of an example of viewing live broadcast content, which is executed by the content delivery / reception system of the present invention.
  • FIG. 7 is a schematic diagram of a virtual space distributed by the content distribution / reception system of the present invention.
  • FIG. 8 is a schematic diagram of a virtual space distribution video distributed by the content distribution reception system of the present invention.
  • a distributor who intends to distribute the live content by sponsoring it applies for content distribution to the server 2 using the distributor terminal 11 (step S101).
  • the server 2 approves the distribution, the server 2 notifies the first distributor terminal 11 of the approval (step S102), and the server 2 determines that the live content is suitable for viewing on the distribution service site. It is posted on the page as a list, or the list is distributed to each logged-in viewer terminal (step S103).
  • the distributor controls the movement of the avatar 12-1b by generating motion data, so that the avatar 12-1b can move, change its direction, or move its hands and feet in the virtual space 30. You can perform actions such as moving and changing the posture.
  • the system 1 uses the information of the voices emitted by the virtual object including the avatar and the character information of the voices as the specification information of the virtual object. You may make it included in the object of the data transmitted / received or stored.
  • the virtual camera 32 arranged in the virtual space 30 does not necessarily have to be placed in the center as shown in the figure, and the installation location is arbitrary, and it may be moved or multiple pieces may be installed. Also, these virtual cameras may be added, deleted, or moved from the middle of live content. The operation of these virtual cameras is common to other parts of this specification, but in the following description, in order to avoid complication, only one virtual camera is provided in each virtual space.
  • step S105 Data of the specification of the virtual object in the virtual space 30 including the motion data 9-2 of the avatar 12-1b of the distributor and the appearance data 9-1 of the avatar from the server 2 to the first viewer terminal 12. And the motion data is transmitted (step S106), and rendering (drawing) is performed by the first viewer terminal 12.
  • an application for avatar participation is made from the first viewer terminal 12 to the server 2 (step S201).
  • the server 2 that has accepted the application determines whether or not the viewer's avatar 100 needs to participate by using one of the following several methods or another method.
  • the first method is a method of transmitting this viewer information (for example, handle name) to the distributor terminal 11 to request the distributor's judgment (step S202).
  • this viewer information for example, handle name
  • the distributor's judgment step S202.
  • information on the approval is transmitted to the server 2 by the operation of the distributor terminal 11, and further transmitted to the viewer terminal 12 (steps S203 and S204).
  • the second method is to allow the distributor to allow this avatar to participate in the live content beforehand, or to set the time from when the broadcast time is open to anyone to join the avatar. Since the intentions of these distributors are previously transmitted from the distributor terminal 11 to the content distribution server 2 and registered, the server 2 judges whether the application for avatar participation from the viewer terminal 11 is accepted or not. Send the judgment result to.
  • the avatar appearance information which is necessary data, and motion data are transmitted to the server 2 (step S205).
  • the server 2 starts transmitting the appearance data and motion data of the viewer avatar 100 received from the viewer terminal 21 to the distributor terminal 11 that distributes the live content (step S206).
  • the distributor terminal 11 has the content of the viewer avatar 100 included in the virtual space, and the live content data being live broadcast (the appearance data of each virtual object including the avatar. , Motion data, etc.) and transmits it to the server 2 as the subsequent live content (step S207), and the server 2 sends the viewer avatar to each terminal including the viewer terminal 11 who is viewing this live content.
  • the live content in which 100 is participating is distributed (step S208).
  • 11 is a schematic diagram of a virtual space in which the viewer avatar 100 participates
  • FIG. 12 is a view of the virtual space 30 viewed from the viewpoints of the viewer avatar 100, the virtual camera 32, and the distributor avatar 12-1b. The distribution image at the time is shown.
  • FIG. 13 is a schematic diagram of an example of an action in which avatars contact each other, which is used in the content delivery / reception system of the present invention.
  • FIG. 13 (A) is a schematic diagram of a scene where the distributor avatar 12-1b and the viewer avatar 100 shake hands
  • FIG. 13 (B) is a schematic diagram of a scene where both perform a high-touch with one hand.
  • both avatars perform actions such as bringing the hands 100-h and 12-1b-h into contact with each other, assembling, tapping, and releasing.
  • the data transmission speed for drawing is suppressed for the purpose of reducing the load on the system, especially when there is movement, and the movement of the avatar is The drawing is performed intermittently by thinning out the movement of the human body that humans feel in the real space. For this reason, it has been difficult to provide a system that includes actions such as handshaking between avatars, where the avatars are in contact with each other, that is natural, has a good operational feel when operating the avatars, and that includes drawing avatars. It was
  • FIG. 14 is an explanatory diagram comparing details of the case where the avatars shake hands with each other between the conventional technology and the present invention.
  • FIG. 14 is a diagram for explaining a time transition of an operation when shaking hands as an action between avatars by comparing the conventional technique and the present embodiment.
  • the vertical direction of FIG. 14 shows the transition of time, and the scale is described at the time interval t from 0 at the top to times T1 and T2 and hereinafter T6.
  • the hand 100-h of the viewer avatar and the hand 12-1b-h of the distributor avatar, which are the parties performing the handshake are shown to approach each other as the time changes.
  • the hands 100-h and 12-1b-h have moved by the second movement amount m2 toward the opponent at every time according to the time interval t as the rendering result, and finally, the time. Shaking hands at T5.
  • FIG. 14 The description of FIG. 14 is based on the assumption that the viewer and the distributor operate at a constant speed to create motion data that should move the hand. Of course, the viewer and the distributor while viewing the live content display. It is possible to change the speed of the operation of moving the hand and set the motion data to a different value, but in the conventional technology configuration, the time granularity of the avatar rendering is rough compared to the present embodiment, and therefore the operability is reduced. Has decreased and movement is more unnatural.
  • FIG. 15 is an explanatory diagram for explaining details when the avatars shake hands, which is executed by the content delivery / reception system of the present invention.
  • FIG. 16 is a flowchart for explaining the operation of the handshake shown in FIG. FIG. 15 illustrates an operation for performing a handshake according to the present embodiment, from the time when both hands 100-h and 12-1b-h are apart to the handshake position according to the time transition. The details will be described with reference to FIG.
  • control unit of the distributor terminal 11 performs the execution.
  • the transfer speed of the rendering data is set to HIGH, which is approximately tripled (step S306).
  • the hands 100-h and 12-1b-h move every time t with a fourth movement amount that is about 1/3 of the third movement amount, and can easily make mutual contact movements. And touches at time T14 to shake hands (step S307).
  • the present embodiment is configured as described above, when both avatars trying to shake hands are at distant positions, the data transfer rate (data transfer amount per unit time) used for rendering the avatars is compared. Relatively small, resulting in less load on the system.
  • the data transfer speed is increased so that the rendering is not unnatural, and the operation of handshaking by operating the avatars is facilitated. That is, it is possible to achieve both a reduction in the load on the system and a natural rendering result and ease of operation.
  • FIG. 17 is a schematic diagram showing various display modes in the content delivery / reception system of the present invention.
  • the system recommends the contact target avatars.
  • the system recommends the broadcaster avatars as handshake targets, or recommends avatars that have had a handshake in the past. May be.
  • a flag 17-1 indicating the recommendation is shown on the distributor avatar 12-1b which is the recommended avatar in this way, and as a result, the viewer who views the live content is The distributor avatar 12-1b can be easily distinguished and recognized from the other avatars 17-2.
  • (C) Select the contact target avatar by tapping ...
  • the viewer terminal is a smartphone
  • a mouse pointer or keyboard may be used.
  • the distance between all the avatars in the virtual reality space is continuously measured, and if any of these intervals falls below the threshold, the data transmission interval is reduced or the threshold is set.
  • the control may be performed such that the data transmission interval is increased when the time is exceeded.
  • the interval of the timing of transmitting the data is made small. It can be said that the data transmission amount is increased, and conversely, the timing interval for transmitting the data is increased. In other words, the data transmission amount per unit time is decreased. Can also be said. In other words, the amount of transmission of the rendering data of the avatar per unit time, that is, the transmission speed, is controlled to vary according to the distance between the avatars. This point is common to each embodiment.
  • Rendering section 11f ... Display section, 11g ... Operation section, 11h ...
  • Program storage section 11i ... Data storage section, 11k ... Comment posting section, 11m ... Spline, 12 ... First viewer terminal, 12a ... Input / output interface, 12b ... Control section, 12c ... Avatar operation section, 12e ... Item posting section, 12f ... Display section, 12g ... Operation section, 12h ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

アバターのモーションデータは、システムの都合から一定時間内はデータを間引いて、間歇的に配信されている。このため、例えばアバター同士がハイタッチしようとしたときに、粗いモーションデータ送信では手がタッチする前に行き過ぎてしまい自然なアバター操作が行えない。アバター同士のハイタッチ動作など、接触を伴う動作を行いたいときに、アバターが接近したら、モーションデータ等アバターのレンダリングに必要なデータ、あるいはレンダリング済みのアバターのデータをサーバからクライアント端末へ送る送信間隔を小さくして、より自然なアバター接触操作が行えるように構成した、仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラムとする。

Description

仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
 本開示は、仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラムに関する。
 近年、ネットワークを介してライブコンテンツを配信するサービスがインターネット生放送として普及している。このようなインターネット生放送において、配信者が仮想空間内で仮想キャラクタ(アバター)として登場し、その映像をライブコンテンツとして配信する技術が提案されている。このようなライブコンテンツでは、モーションキャプチャ技術によって、配信者の動作が仮想キャラクタの動作として合成された映像が配信される。
 下記の特許文献1には、仮想空間内に登場している複数のアバター間の距離に応じて、アバターの表示態様を変える構成が開示されている。具体的には、最も距離が遠い第1段階ではアニメーション動作をしない静止したアバター画像が描画され、そこから接近した第2段階ではアバターが歩行アニメーションだけを行い、更に接近した第3段階ではアバターは上半身のジェスチャー動作アニメーションを行い、最も接近した第4段階ではアバターの顔部分にアバター操作者本人の実写顔写真をはめ込むようにし、多人数が参加する仮想空間のライブコンテンツ配信において、必要伝送帯域やCPU(セントラルプロセッシングユニット)などの負荷を減らして実現性を向上させようとすることが意図されている。
 また、下記の特許文献2には、人物の代理オブジェクトではなく、波の動きを、コンピュータグラフィックス(CG)を利用した仮想的オブジェクトとして描画しようとする画像生成システムにおいて、波のCG描画オブジェクトが、同様の岩のCG描画オブジェクトにぶつかってから飛沫が飛ぶように描画を行うと、海岸に岩や波が多数存在する状況では、個々の波対岩の衝突判定が極めて頻繁となり計算付加が重く、リアルタイムな飛沫の描画が難しくなるので、具体的な波と岩との衝突の判定ではなく、岩が存在する領域全体に対する波の衝突判定を行うようにして、システムの計算付加を低減させ、この結果、リアリティがあり破綻のないCG描画を行おうとする構成が提案されている。
日本国特開2001-160154号公報 日本国特開2002-216165号公報
 インターネット生放送などでライブコンテンツを楽しむ視聴者が近年増加をしており、その様なライブコンテンツでは、生放送の視聴者がただ単にコンテンツを視聴して楽しむだけでなく、視聴者自身が自分のアバターをこのライブコンテンツに、すなわちライブコンテンツが提供する仮想空間の中に、登場させて楽しむことができるものが登場している。
 このような視聴者アバターの参加が可能なシステムでは、視聴者は自分が選んだ、あるいはデザインした外観のアバターとしてこのライブコンテンツに登場し、この結果、このライブコンテンツを視聴する他の視聴者に視認されることで、自分の存在がアピールできる満足感が得られる。また視聴者が投入した視聴者アバターの視点から、ライブコンテンツが提供する仮想空間内を見ることができるので、没入感が高まる。さらに、視聴者はアバターとして仮想空間内で、このライブコンテンツを主催して配信する配信者アバターと、あるいは同様に参加している他の視聴者のアバターと会話を楽しむこともできるので、これも仮想空間への没入感を高めることにつながる。
 ところで、アバターの形でライブコンテンツに登場し参加する視聴者は、自らのアバターの外観や動きを他の視聴者から視聴されたり、自分が操作するアバターの視点からライブコンテンツの仮想空間を見て楽しんだり、あるいは他のアバターと会話をして楽しむ、といった先に説明した楽しみ方ばかりではなく、他のアバターと握手したり、他のアバターととともにダンスを楽しむ、といった、アバター同士の接触を伴うアクションを楽しみたい、と望むことが考えられる。
 このような、アバター同士の接触を伴うアクションとして、先に挙げた握手、ダンスなどのほかにも、ハイタッチ(手のひらを高く上げて他人の手のひらと合わせる動作の和製英語。片手を合わせる動作を英語表現では「high five」といい、両手を合わせる動作を同じく「high ten」という。)、手をつなぐ、相撲、レスリング、ボクシング、腕相撲などの格闘系スポーツ、かたぐるま、二人三脚、ハグ、肩をたたく、指切り、おしくらまんじゅう、手つなぎ鬼、など枚挙にいとまがない。
 特に、手をつなぐことや握手やハイタッチは、日常の実空間で頻繁に行われている慣習であるし、手を組む、あるいは合わせるだけで簡単に行えるので、仮想空間内でアバター同士が行う動作として、今後ニーズが高まるものと予想される。
 一方、例えば握手をする際には、双方のアバターは自分の手を差し出して、相手のアバターの手のひらと、ある程度精密に位置合わせを行う必要がある。
 ところが、仮想空間内の各種オブジェクト、アバターの描画については、特にこれら描画対象物に動きがある場合に、システムの負荷を低減する目的で描画のためのデータ伝送速度は抑制がされている場合が多く、アバターの動きは、人間が実空間で感じる人体の動きよりも間引かれて、間歇的に描画が行われる。このため、アバター同士の握手など、アバター同士が接触を行うアクションは、不自然さのない、アバターを操作する立場では操作感のよい、アバターの描画を含めたシステムの提供が従来は困難であった。
 本発明は上記の状況に鑑みてなされたものであって、仮想空間内の動きをライブコンテンツとして放送する際に、仮想空間内に登場しているアバター同士が接触する握手などのアクションを不自然さがなく、アバターを操作する立場では操作感のよい構成を提供するという課題を解決するための、仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラムを提供することを発明の目的とする。
 上記の課題を解決するために本発明は、下記の1)~7)に記載の仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラムを提供する。
1)
 通信回線を介して接続される複数の端末の利用者が3次元仮想空間を共有し、該3次元仮想空間中に個々の利用者を象徴するアバターを出現させ、(1)該3次元仮想空間における個々のアバターの位置・方向情報、または(2)該3次元仮想空間における個々のアバターのレンダリング済みデータ、を複数の端末それぞれへ配信部から配信することによって、複数の端末それぞれの表示画面において各アバターのコンピュータグラフィック・アニメーション表示を実現する、仮想空間中のアバター表示システムであって、
 3次元仮想空間内において、各アバター相互の距離情報を生成する距離情報生成部を更に備え、且つ、当該システムが有する制御部が、生成された相互の距離情報に応じて配信部が行う配信の単位時間当たりの情報量を変動させるよう構成されたことを特徴とする、仮想空間中のアバター表示システム。
2)
 複数の端末の少なくともいずれかが、相互の距離情報を生成する対象のアバターを選択する選択部を備えたことを特徴とする、1)に記載の仮想空間中のアバター表示システム。
3)
 制御部は、生成されたアバター相互の距離が、あらかじめ決められた閾値を下回った場合に配信の単位時間当たりの情報量を増加させるよう制御することを特徴とする、1)または2)に記載の仮想空間中のアバター表示システム。
4)
 通信回線を介して接続される複数の端末の利用者が3次元仮想空間を共有し、該3次元仮想空間中に個々の利用者を象徴するアバターを出現させるとともに、配信部が、(1)該3次元仮想空間における個々のアバターの位置・方向情報、または(2)該3次元仮想空間における個々のアバターのレンダリング済みデータ、を複数の端末それぞれへ配信する配信ステップを備えることによって、複数の端末それぞれの表示画面において各アバターのコンピュータグラフィック・アニメーション表示を実現する、仮想空間中のアバター表示方法であって、
 距離情報生成部が3次元仮想空間内において各アバター相互の距離情報を生成するステップを更に備え、且つ、当該システムが有する制御部が、生成された相互の距離情報に応じて配信ステップで実行される配信の単位時間当たりの情報量を変動させるよう構成されたことを特徴とする、仮想空間中のアバター表示方法。
5)
 複数の端末の少なくともいずれかに備えられた選択部が相互の距離情報を生成する対象のアバターを選択するステップ、を備えたことを特徴とする、4)に記載の仮想空間中のアバター表示方法。
6)
 制御部は、生成されたアバター相互の距離が、あらかじめ決められた閾値を下回った場合に配信の単位時間当たりの情報量を増加させるよう制御することを特徴とする、4)または5)に記載の仮想空間中のアバター表示方法。
7)
 4)乃至6)のいずれか1項に記載の仮想空間中のアバター表示方法が備える各ステップをコンピュータに実行させるコンピュータプログラム。
図1は、本発明にかかるコンテンツ配信受信システムの構成模式図である。 図2は、図1のコンテンツ配信受信システムが有するコンテンツ配信サーバの一構成例を概略的に示すブロック図である。 図3は、図1のコンテンツ配信受信システムが有する配信者端末の一構成例を概略的に示すブロック図である。 図4は、図1のコンテンツ配信受信システムが有する第1の視聴者端末の一構成例を概略的に示すブロック図である。 図5は、図4の第1の視聴者端末の外観模式図である。 図6は、本発明のコンテンツ配信受信システムが実行する、生放送コンテンツ視聴の一例についてのシークエンス・チャートである。 図7は、本発明のコンテンツ配信受信システムが配信する仮想空間の模式図である。 図8は、本発明のコンテンツ配信受信システムが配信する、仮想空間の配信映像の模式図である。 図9は、本発明のコンテンツ配信受信システムに用いられるアバターレンダリング用データの模式図である。 図10は、本発明のコンテンツ配信受信システムにおける、生放送中のコンテンツに視聴者アバターが参加する際の動作の一例を説明するためのシークエンス・チャートである。 図11は、本発明のコンテンツ配信受信システムが配信する、視聴者アバターが加わった仮想区間の模式図である。 図12は、本発明のコンテンツ配信受信システムが配信する、図11の仮想空間を各視点から見た配信映像の模式図である。 図13は、本発明のコンテンツ配信受信システムで用いられる、アバター同士が接触するアクションの例の模式図である。 図14は、アバター同士が握手をする場合の細部について、従来技術と本発明とを比較した説明図である。 図15は、本発明のコンテンツ配信受信システムが実行する、アバター同士が握手を行う場合の細部を説明する説明図である。 図16は、図15図示の握手の動作を説明するフローチャートである。 図17は、本発明のコンテンツ配信受信システムにおける、種々の表示の態様を示す模式図である。
 以下、本開示に係る実施形態について説明する。なお、以下に説明する本実施形態は、それぞれ例示に過ぎず、本発明の趣旨を脱しない範囲で種々の変形が可能であり、これらもまた本発明が包含する。
〔コンテンツ配信受信システム1の構成〕
 図1は、本発明にかかるコンテンツ配信受信システム1の構成を模式的に示した図である。
 コンテンツ配信受信システム1は、コンテンツ配信サーバ2、配信者端末11、第1の視聴者端末12、第2の視聴者端末22を含んで構成され、これら各構成はインターネット通信網3あるいはその他の通信網によって相互にデータ交換が可能に接続されている。コンテンツ配信サーバ2は、汎用のコンピュータが、本システム1専用のコンピュータプログラムで動作するように構成されたサーバである。
 配信者端末11は、後に説明を行う仮想空間30を用いたライブコンテンツの配信であるインターネット生放送に用いられ、このライブコンテンツを主催する配信者が用いる、例えばパーソナルコンピュータである。第1の視聴者端末12は、上記のライブコンテンツを生放送として視聴する視聴者が用いる、例えばパーソナルコンピュータであり、あるいはスマートフォン、PDA(パーソナルデジタルアシスタント)など様々な情報端末を用いて実現してもよい。
第2の視聴者端末22は、上記のライブコンテンツを再生コンテンツあるいはインターネット生放送の形で視聴する視聴者が用いる、例えばパーソナルコンピュータであり、あるいはスマートフォン、PDA(パーソナルデジタルアシスタント)など様々な情報端末を用いて実現してもよい点も同様である。
 なお、図1図示構成および上記の説明は説明を簡潔明瞭にするため、構成する端末等の数を説明で言及する範囲に制限したが、本発明の実施に当たってはもちろん、より多数の視聴者端末を含んで構成することが可能である。
〔コンテンツ配信サーバ2の構成〕
 図2は、図1のコンテンツ配信受信システムが有するコンテンツ配信サーバの一構成例を概略的に示すブロック図である。
 図2に図示するように、コンテンツ配信サーバ2は、サーバ内外のデータ送信端である入出力インターフェース2a、各サーバ2構成の動作の制御統制を行うCPU(セントラルプロセッシングユニット)を備える制御部2bを有している。
 同じくサーバ2が有するコンテンツ情報記憶部2cは、インターネット生放送が行われている、あるいは今後行おうとするコンテンツ(番組)の情報を、コンテンツを配信する配信者の情報、このコンテンツが外部からのアバターの参加を受け入れているかあるいは拒否しているか、についての情報、あるいは、特定の視聴者のみからのアバター参加を許している場合にはその特定視聴者の情報などを記録している。
 コンテンツ配信部2dは、配信者端末11から送信されたライブコンテンツを、視聴を求めてきた各端末へ送信して視聴に供する。プログラム記憶部2fは、このサーバ2の各実行動作を実現するためのプログラムなどを記憶している。
 ユーザ管理部2gは、先に説明した各ライブコンテンツを主催する配信者が用いる配信者端末、そのライブコンテンツを視聴してコンテンツの視聴、改変や追加を行った視聴者が用いる視聴者端末、などの情報をIP(インターネットプロトコル)アドレスや、動画像配信サービスのアカウント情報などのデータとして保持しており、従ってこのユーザ管理部2gが記憶する情報を用いて、あるライブコンテンツがどの端末へ送信供給されているのか、などをデータとして記憶している。
 バスライン2iは、これらサーバ2の各構成間を相互にデータ交換可能に接続する。
〔配信者端末11の構成〕
 図3は、図1のコンテンツ配信受信システムが有する配信者端末のブロック図である。
 図3に示すように、配信者端末11は、まず、端末内外の情報入出力端である入出力インターフェース11a、端末11の各構成の制御統制を行うCPU(セントラルプロセッシングユニット)を備えた制御部11bを有している。
配信者が自分の仮想的な分身であるアバターを仮想空間内に登場させて、所望の動作をさせるために、まず、先に説明をした、バーチャルオブジェクトの仕様データの一つであるアバターの仕様データとして、アバターの外観データ、アバターのボイスキャラクタデータ、アバターの効果音のデータ、アバターの音楽データなどが、この配信者端末11のデータ記憶部11iに記憶されており、アバター操作部11cは、操作者である配信者などの身体につけた加速度センサーや、3Dカメラで自分の動きを撮影したデータ、あるいはドップラーセンサで自分の身体各所の動きをセンシングしたデータを用い、これらモーションデータを取得して、先に説明をしたバーチャルオブジェクトのモーションデータの一つである、アバターのモーションデータとして取得する。
 図9は、本発明のコンテンツ配信受信システムに用いられるアバターレンダリング用データの模式図である。
 具体的には、図9に示すように、アバター操作部11cは、バーチャルオブジェクトの仕様データの一つである、アバターの外観データ9-1を含めた仕様データを自分で用意するか、システムが用意して選択に供する中から選ぶか、ネット上に配置された外観データあるいは仕様データのURL(ユニフォームリソースロケーター)を指定するなどして決定する。
 そして、配信者自身の身体各所の動きをセンシングした結果であるモーションデータ9-2として、図9(B)に示すように、身体各所を節9-2aとしてその位置情報、動きの情報を得る。節9-2aをつなぐ枝9-2bの情報を更に生成して、節9-2a同士の関係を明確化するように構成してもよい。なお、バーチャルオブジェクトの仕様データの一つである、アバターの仕様データとは、例えば若い女性の外観を有するアバターを男性が操作する場合に、男性が発生した声をボイスチェンジして若い女性の声にするための、声の周波数特性データ(音声キャラクタデータ)、アバターが動く場合の特有の効果音、アバターが現れると特徴的にバックに流れる音楽のデータなどであり、ほかのデータを含めてももちろんよい。
 同じく、アバター以外のバーチャルオブジェクト(バーチャルアイテム、仮想アイテム、仮想オブジェクトなどともいう)について、その外観データばかりではなく、アイテムが発生する場合には音声キャラクタデータを仕様データとして付加してもよいし、同様に効果音データや音楽データをそれぞれのバーチャルオブジェクトに対して仕様データとして付加してもよい。以上の点は、本システム1で用いられるアバターを含めた種々のバーチャルオブジェクトに共通している。
 レンダリング部11eは、端末11の外部から送信をされた、あるいは端末11内部に記憶されたバーチャルオブジェクトの仕様データ、およびバーチャルオブジェクトのモーションデータを用いてこれらバーチャルオブジェクトをレンダリング(描画)する構成であって、現在端末11から配信中のライブコンテンツのバーチャルオブジェクトに関するデータをサーバ2から受け取り、コンテンツの内容をリアルタイムに確認するモニタリングなどに用いられる。
 このために、レンダリング部11eは、上に示したアバターの外観のデータ9-1を含めたアバターの仕様のデータとモーションデータ9-2、この後に説明するように、3次元仮想空間内に投げ込まれたバーチャルオブジェクトの仕様データとモーションデータ、3次元仮想空間の背景画像や仮想空間内に置かれたバーチャルオブジェクトの仕様データおよびモーションデータを用いて、仮想空間を可視化するための描画(レンダリング)を行い、得られた、内包するバーチャルオブジェクトを含めた仮想空間の映像は、配信者端末11の表示部11fに表示される。
 先に説明をしたように、例えばアバターについてのレンダリングは、図9(C)に示すように、バーチャルオブジェクトの仕様データの一つであるアバター外観データ9-1に対して、その各所の位置や動きをモーションデータ9-2から得て、現在のアバターの位置や動きを示すアバターのレンダリング用データ9-3を生成する。
 なお、レンダリングは、動画データではなく静止画データであるアバターの外観データ9-1と、アバターのモーションデータ9-2を構成する節9-2aや枝9-2bのデータとを用いて行うことができるので、外観データ9-1は静止画データであることからデータ容量が小さいし、節9-2aや枝9-2bのデータは画像データではなく限られた数の点の座標データもしくは運動ベクトルデータであるのでこれもデータの容量が小さく、この結果、データの送信、受信、記憶やレンダリングに要する伝送路やハードウエアの負担は極めて小さいものとすることができる。
 さらに、アバターの外観データ9-1、や仕様データをロウデータ(具体的な生データ)そのものではなく、URL(ユニフォームリソースロケーター)でWEB上のデータの保存先として指定すれば、より小さな文字列データで送信や記憶を行うことができる。これらの有利な点は、これら外観データや仕様データやモーションデータをシステムのどの構成で生成し、伝送し、記憶し、レンダリングするかによらず同様の効果を奏するものであるし、人のアバターに限らず、バーチャルオブジェクトをレンダリングしようとする際には共通の効果となる。
 なお、アバターを外観のみならず音声を含めて表示(本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。)を行う場合、アバターが発する音声の情報、および音声のキャラクタ情報を、システム1が送受信あるいは記憶するデータの対象に含めるようにしてもよい。
 例えば先に説明したように、アバターが若い女性の外観とキャラクタを有していてそのアバターを操作する配信者などが男性である場合、男性のオリジナルの発声をまず記憶し、記憶した男性の音声をボイスチェンジして若い女性の発声としてアバターの表示に用いることとなる。そのボイスチェンジに用いる発声のキャラクタ情報(若い女性キャラクタの発声の周波数スペクトラム等)が、配信者などアバターを操作する者の発声情報とともに、アバター外観情報に、あるいは他の情報に含まれるようにする点は有効である。同じく、バーチャルオブジェクトをライブコンテンツに追加する際に、効果音(爆発音、衝突音、飛翔音、オノマトペなど)や、音楽を追加してもよく、それら効果音データ、音楽データをもシステム1が送受や記憶する対象のデータとしてもよい。それらもまたアバター仕様データあるいはその他のデータに追加がなされる。なお、仕様データには、振動に関するデータを含めてもよく、その場合、例えばアバターを操作するコントローラ(ボタンなどが付属した操作具)を振動させるようにしてもよいのであり、この点はシステム1の各所、各局面においても同様である。
 表示部11fは、配信者自身がライブコンテンツを視聴したり、現在配信者が配信中のライブコンテンツの内容を確認するためにレンダリング画像をモニタリングしたり、各種操作を行ったりするために画面表示を行う構成であって、パーソナルコンピュータの表示パネルや、顔面に装着されるゴーグルタイプのHMD(ヘッドマウントディスプレイ)などで実現される。操作部11gは配信者が各種動作の操作に用いるもので、例えばパーソナルコンピュータのキーボード、マウス、タッチパネルでもよいし、あるいは操作者のモーションデータで操作するデバイスであってもよい。プログラム記憶部11hは、ライブコンテンツの配信や視聴に必要なコンピュータプログラムを記憶しており、汎用のコンピュータオペレーティングシステム(OS)、インターネット閲覧プログラム(ブラウザ)等を含んでいてもよい。データ記憶部11iは、ライブコンテンツに用いられる仮想空間の背景のデータ、バーチャルデータの仕様データ、モーションデータなどを記憶する。
 コメント投稿部11kは、ライブコンテンツの表示画面にかぶさって表示がされた、あるいは仮想空間30内のバーチャルオブジェクトの表面に表示がなされたり、大きな文字の形をしたオブジェクトのようにそれ自体が独立したバーチャルオブジェクトとして表示されたりする文字情報であるコメントをサーバ2に投稿するための構成である。バスライン11mは配信者端末11の各構成を、データを相互に交換可能に接続する。
 第1の視聴者端末12と第2の視聴者端末22とは共通の構成を有しており、以下では第1の視聴者端末12を例として説明を行う。
〔第1の視聴者端末12の構成〕
 図4は、図1のコンテンツ配信受信システムが有する第1の視聴者端末の一構成例を概略的に示すブロック図である。
 図4に図示するように、第1の視聴者端末12は、端末12内外のデータ送受端である入出力インターフェース12a、端末12各所の制御統制を行うCPU(セントラルプロセッシングユニット)を備えた制御部12bを有している。
 先に説明をした、バーチャルオブジェクトの仕様データの一つであるアバターの仕様データとして、アバターの外観データ、アバターのボイスキャラクタデータ、アバターの効果音のデータ、アバターの音楽データなどが、データ記憶部12iに記憶されており、アバター操作部12cは、操作者である視聴者などが自分の仮想的な分身であるアバターを仮想空間内に登場させて、所望の動作をさせるために、自分の身体につけた加速度センサーや、3Dカメラで自分の動きを撮影したデータ、あるいはドップラーセンサで自分の身体各所の動きをセンシングしたデータを用い、これらモーションデータを取得して、そのままで、あるいはレンダリングした画像情報としてサーバ2に送信を行う。
 先に説明をしたように、図9を援用すると、アバター操作部12cは、バーチャルデータの仕様データの一つである、アバターの外観データ9-1を含めたアバターの仕様データを自分で用意するか、システムが用意して選択に供する中から選ぶか、ネット上に配置された外観データを含めた仕様データのURL(ユニフォームリソースロケーター)を指定するなどして決定する。そして、身体各所の動きをセンシングした結果であるモーションデータ9-2として、図9(B)に示すように、身体各所を節9-2aとしてその位置情報、動きの情報を得る。節9-2aをつなぐ枝9-2bの情報を更に生成して、節9-2a同士の関係を明確化するように構成してもよい。
 なお、アバターを外観のみならず音声を含めて表示(本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。)を行う場合、アバターが発する音声の情報、および音声のキャラクタ情報を、アバターの外観データを含めて、アバターの仕様データとして、システム1が送受信あるいは記憶するデータの対象に含めるようにしてもよい。
 例えばアバターが若い女性の外観とキャラクタを有していてそのアバターを操作する配信者などが男性である場合、男性のオリジナルの発声をまず記憶し、記憶した男性の音声をボイスチェンジして若い女性の発声としてアバターの表示に用いることとなる。そのボイスチェンジに用いる発声のキャラクタ情報(若い女性キャラクタの発声の周波数スペクトラム等)が、視聴者などアバターを操作する者の発声情報とともに、アバターの外観情報を合わせたアバター仕様情報に含まれるようにする点は有効である。同じく、バーチャルオブジェクトをライブコンテンツに追加する際に、効果音(爆発音、衝突音、飛翔音、オノマトペなど)や、音楽を追加してもよく、それら効果音データ、音楽データをもシステム1が送受や記憶する対象のデータとしてもよい。それらもまた外観情報あるいはその他のデータとともに、アバターの仕様データに追加がなされる。
 アイテム投稿部12eは、視聴者が自己のアバターを、自分が視聴しているライブコンテンツに登場させるため、アバターの外観データを含めた、バーチャルオブジェクトの仕様データや、先に説明したバーチャルオブジェクトのモーションデータをサーバ2へ投稿したり、あるいは自分が再生視聴しているライブコンテンツに新たなバーチャルオブジェクトを投稿したりするために用いられる。
 表示部12fは、視聴者自身がライブコンテンツを視聴したり、各種操作を行ったりするために画面表示を行う構成であって、パーソナルコンピュータの表示パネルや、顔面に装着されるゴーグルタイプのHMD(ヘッドマウントディスプレイ)などで実現される。
 操作部12gは視聴者が各種動作の操作に用いるもので、パーソナルコンピュータのキーボード、マウス、タッチパネルでもよいし、あるいは操作者のモーションデータで操作するデバイスであってもよい。
 プログラム記憶部12hは、ライブコンテンツの視聴に必要なコンピュータプログラムを記憶しており、汎用のコンピュータオペレーティングシステム(OS)、インターネット閲覧プログラム(ブラウザ)等を含んでいてもよい。データ記憶部12iは、先に説明をしたデータおよびその他の各種データを記憶する。
 コメント投稿部12kは、ライブコンテンツの表示画面にかぶさって、あるいは仮想空間30内のバーチャルオブジェクトの表面に表示されたり、巨大な文字状のバーチャルオブジェクトのようにそれ自体が独立したバーチャルオブジェクトとして表示されたりする文字情報であるコメントを、サーバ2に投稿するための構成である。バスライン12mは視聴者端末12の各構成を、データを相互に交換可能に接続する。
 図5は、図4の第1の視聴者端末の外観模式図である。
 図5は、第1の視聴者端末12をパーソナルコンピュータで実現した場合の外観を一例として模式的に示したもので、各種映像、静止画像、動画像や文字情報を表示する表示パネル12-1は、視聴者が本システム1のサービスを利用するために、あらかじめ知らされているURL(ユニフォームリソースロケータ)を入力してサーバ2に接続を行うと、サーバ2から必要なデータとジャバスクリプト(JavaScript(登録商標))プログラムが送付されて、動画配信サービスのポータル画面(図示しない)が表示される。
 視聴者は、自分がインターネット生放送として視聴をしたいライブコンテンツを表示リスト(図示しない)からあらかじめ選択しており、図5には、視聴者が予め選択したライブコンテンツが表示されている状況を示している。
 図5において、表示パネル12-1内に、ライブコンテンツ動画を表示する動画表示エリア12-1aがあり、そこには、このライブコンテンツの配信者である配信者のアバター12-1b、このライブコンテンツが用いる仮想空間に配置されたバーチャルオブジェクトである樹木12-1n、家屋12-1oが表示されている。
 また、更に、コンテンツを視聴する視聴者から投稿されたコメント12-1rが表示パネル12-1内に表示されており、「アップしてくれてありがとう!!」、という内容のコメント12-1rが表示パネル12-1の右端から現れて左端にスクロール移動して消えていく。コメント12-1rが表示される範囲はライブコンテンツ動画を表示する動画表示エリア12-1aよりも大きく、そこからはみ出すよう設定されているので、視聴者はこれらコメント12-rが、コンテンツのオリジナルな内容ではなく、コンテンツの配信者とは別な投稿者から投稿されたことが明瞭に理解できる。
 同様に、表示パネル12-1内には、動画配信サービスのポータル(入口)ページ(図示しない)に戻るためのホームボタン表示12-1e、視聴するコンテンツが生放送ではなく再生コンテンツである場合に用いる停止ボタン表示12-1f、ポーズボタン表示12-1g、および再生ボタン表示12-1hがそれぞれ表示されている。
 表示パネル12-1内のコメント投稿ボタン表示12-1iは、この端末12が視聴者端末である場合に、視聴者が視聴しているコンテンツに対して先に説明をしたコメントを投稿するためのボタンである。
 シークバー表示12-1kは、コンテンツが再生コンテンツである場合に、再生開始時刻を左端に、再生終了時刻を右端に対応させ、シークボタン表示12-1mの位置が現在の再生時刻を示しており、このシークボタン表示12-1mの位置をマウスポインタ12-3で動かして再生したい時刻へ移動させることができる。先に説明した操作部12gとして、マウスポインタ12-3、マウスカーソル12-2があり、キーボード12-4も視聴者端末12は備えている。
〔生放送中のコンテンツ視聴〕
 次に、配信者端末11から投稿されて配信されているインターネット生放送であるライブコンテンツが、第1の視聴者端末12によって視聴されるまでの動作を、図6のシークエンス・チャート、図7の仮想空間模式図、図8の各視点から見たレンダリング結果の図、をそれぞれ用いて説明する。
 図6は、本発明のコンテンツ配信受信システムが実行する、生放送コンテンツ視聴の一例についてのシークエンス・チャートである。
 図7は、本発明のコンテンツ配信受信システムが配信する仮想空間の模式図である。
 図8は、本発明のコンテンツ配信受信システムが配信する、仮想空間の配信映像の模式図である。
 ライブコンテンツを主催して配信しようとする配信者は、配信者端末11を用いてサーバ2へコンテンツ配信の申し込みを行う(ステップS101)。サーバ2が配信を許諾すると、許諾する旨がサーバ2から第1の配信者端末11へ通知され(ステップS102)、サーバ2は、視聴が可能なコンテンツとしてこのライブコンテンツを配信サービスサイトの適切なページにリストとして掲示を行ったり、リストをログイン中の各視聴者端末へ配信したりする(ステップS103)。
 配信が許諾されたので、第1の配信者端末11は、インターネット生放送用ライブコンテンツとして、図7に示す仮想空間30内の各バーチャルオブジェクトである、配信者のアバター表示12-1bと、その他バーチャルオブジェクトに関する仕様のデータ、およびモーションデータをサーバ2へ送信する(S104)。
 先に説明したように、配信者はモーションデータを生成してアバター12-1bの動作を制御するので、仮想空間30内でアバター12-1bは移動をしたり、向きを変えたり、手や足を動かしたり、姿勢を変えるなどの動作を行うことができる。
 同じく先に説明をしたように、アバターを含めたバーチャルオブジェクトの外観のみならず音声を含めて表示(本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。)を行う場合、アバターを含めたバーチャルオブジェクトが発する音声の情報、および音声のキャラクタ情報をバーチャルオブジェクトの仕様情報として、システム1が送受信あるいは記憶するデータの対象に含めるようにしてもよい。
 仮想空間30内に配置された仮想的カメラ32は図示のように中央に必ず置く必要はなく設置場所は任意であるし、移動してもよく、複数を設置してもよい。またライブコンテンツの途中からこれら仮想的カメラの追加や削除、移動をしてもよい。これら仮想カメラの運用は本明細書の他の箇所おいても共通であるが、以後の説明では煩雑さを避けるため、仮想カメラは各仮想空間に一つだけとした例示にとどめることにする。
 リストにより、放送中のこのライブコンテンツの存在を知った視聴者は、第1の視聴者端末12からサーバ2に対してインターネット生放送であるこのライブコンテンツの視聴を申し込み(ステップS105)、この結果、サーバ2から第1の視聴者端末12に対して、配信者のアバター12-1bのモーションデータ9-2やアバターの外観データ9-1を含む、仮想空間30内にあるバーチャルオブジェクトの仕様のデータおよびモーションデータを送信して(ステップS106)、レンダリング(描画)を第1の視聴者端末12で行う。
 レンダリングの結果を、図8(A)(仮想的カメラ32の視点から見た画像)と図8(B)(配信者アバター12-1bの視点から見た画像)として例示する。
 また、配信者端末11が配信するライブコンテンツは、第1の視聴者端末12に限らず、第2の視聴者端末22を含めた本動画配信システムを利用する他の利用者もまた、申し込みを行って視聴することができる。
〔生放送中のライブコンテンツへの視聴者アバター追加〕
 次に、配信者端末11が先にインターネット生放送中のライブコンテンツを第1の視聴者端末12が視聴している状態で、第1の視聴者端末12を用いる視聴者が、自分の分身であるアバター100をこのライブコンテンツに参加させる動作を、図10乃至図12を用いて説明する。
 図10は、本発明のコンテンツ配信受信システムにおける、生放送中のコンテンツに視聴者アバターが参加する際の動作の一例を説明するためのシークエンス・チャートである。
 図11は、本発明のコンテンツ配信受信システムが配信する、視聴者アバターが加わった仮想区間の模式図である。
 図12は、本発明のコンテンツ配信受信システムが配信する、図11の仮想空間を各視点から見た配信映像の模式図である。
 まず、第1の視聴者端末12からサーバ2に対してアバター参加の申し込みが行われる(ステップS201)。
 申し込みを受け付けたサーバ2は、次のいくつかの方法のいずれか、あるいは他の方法によってこの視聴者のアバター100の参加要否を判断する。
 第1の方法は、この視聴者の情報(例えばハンドルネーム)などを配信者端末11へ送信して、配信者の判断を求める方法である(ステップS202)。配信者が承諾する場合は配信者端末11の操作によって、承諾の旨の情報がサーバ2へ送信され、更に視聴者端末12へ送信される(ステップS203、S204)。
 第2の方法は、あらかじめ配信者がこのライブコンテンツを誰でもアバター参加を認めるか、あるいは放送時刻の内、いつからいつまでを誰でもアバター参加ができる時間として設定する方法である。これら配信者の意向は配信者端末11からコンテンツ配信サーバ2へあらかじめ送信されて登録されているので、視聴者端末11からのアバター参加申し込みに対する可否は、サーバ2が判断をして視聴者端末11へ判断結果を送信する。
 第3の方法は、配信者があらかじめ特定の視聴者のみからのアバター参加を認める方法である。この場合も、配信者が承諾する視聴者の情報は、ハンドルネーム、ログインアカウント、IPアドレスなどの情報としてあらかじめ配信者端末11からサーバ2へ送信登録されているので、視聴者端末11からのアバター参加申し込みに対する可否は、サーバ2が判断をして視聴者端末11へ判断結果を送信する。
 視聴者は、先に説明をしたように、送信された生放送のライブコンテンツをただ視聴することもできるが、例えばダンスシーンであれば自分もアバターの形でライブに参加し、すでにライブに参加している各アバターの操作者とともに踊ることで連帯感も得たいと感じることもあるであろうし、自分のアバターをライブコンテンツに投入して自分が決めた所望の視点からライブコンテンツを視聴しなおしたい、と思うこともありうる。
 そこで視聴者は、生放送のライブコンテンツを視聴しつつ、自分のアバター100を新たにライブコンテンツに投入するべく、サーバ2へ申し込んで、上に記載したようないずれかの方法で承諾された場合、必要なデータであるアバターの外観情報と、モーションデータなどをサーバ2へ送信する(ステップS205)。
 これを受けてサーバ2は、視聴者端末21から受信した視聴者アバター100の外観データやモーションデータなどを、このライブコンテンツを配信している配信者端末11へ送信を開始し(ステップS206)、以後、先に説明した手順にて、配信者端末11は、視聴者アバター100を仮想空間内に含めた内容にて、生放送中のライブコンテンツのデータ(アバターを含めた各仮想的オブジェクトの外観データ、モーションデータなど)を生成し、以後のライブコンテンツとしてサーバ2へ送信し(ステップS207)、サーバ2は、視聴者端末11を含めてこのライブコンテンツを視聴している各端末へ、視聴者アバター100が参加しているライブコンテンツを配信する(ステップS208)。 図11は視聴者アバター100が参加している仮想空間の模式図、図12は、この仮想空間30を、視聴者アバター100、仮想的カメラ32、配信者アバター12-1bという各視点から見た際の配信映像を示している。
〔アバター同士が接触するアクションへの対応〕
 先に説明をしたように、アバターの形でライブコンテンツに登場し参加する視聴者は、自らのアバターの外観や動きを他の視聴者から視聴されたり、アバターの視点からライブコンテンツの仮想空間を見て楽しんだり、あるいは他のアバターと会話をして楽しむ、といった先に説明した楽しみ方ばかりではなく、他のアバターと握手したり、他のアバターととともにダンスを楽しんだり、といった、アバター同士の接触を伴うアクションを楽しみたい、と望むことが考えられる。なお、本実施形態では、配信者が配信する仮想空間に、この配信コンテンツを視聴している視聴者が自分のアバター100を投入した場合に、アバター同士の接触アクションを実現することを例示しているが、このような配信者アバター、視聴者アバター間の接触に限ることなく、あらゆる種類のアバター間の接触アクションにおいて本発明は実施が可能である。この点は今後も同様であるが、いちいち断らないこととする。
 このような、アバター同士の接触を伴うアクションとして、先に挙げた握手、ダンスなどのほかにも、ハイタッチ(手のひらを高く上げて他人の手のひらと合わせる動作の和製英語。片手を合わせる動作を英語表現では「high five」といい、両手を合わせる動作を同じく「high ten」という。)、手をつなぐ、相撲、レスリング、ボクシング、腕相撲などの格闘系スポーツ、かたぐるま、二人三脚、ハグ、肩をたたく、指切り、おしくらまんじゅう、手つなぎ鬼、など枚挙にいとまがない。
 図13は、本発明のコンテンツ配信受信システムで用いられる、アバター同士が接触するアクションの例の模式図である。
 図13(A)に、配信者アバター12-1bと視聴者アバター100とが握手をする場面の模式図、同じく図13(B)に、両者が片手のハイタッチを行う場面の模式図を示すが、いずれの場面でも、双方のアバターは手100-h、12-1b-hを互いに接触させて、組んだり、たたいたりしてから離す、などの動作を行うこととなる。
 特に手をつなぐことや握手やハイタッチは、日常の実空間で頻繁に行われている慣習であるし、これらの動作は手を組む、あるいは合わせるだけで簡単に行えるので、仮想空間内でアバター同士が行う動作として、今後ニーズが高まるものと予想される。例えば握手をする際には、双方のアバターは自分の手を差し出して、相手のアバターの手のひらとある程度精密に位置合わせを行う必要がある。
 ところが従来、仮想空間内の各種オブジェクト、アバターの描画については、特に動きがある場合に、システムの負荷を低減する目的で描画のためのデータ伝送速度は抑制がされており、アバターの動きは、人間が実空間で感じる人体の動きよりも間引かれて、間歇的に描画が行われる。このため、アバター同士の握手など、アバター同士が接触を行うアクションは、不自然さのない、アバターを操作する立場では操作感のよい、アバターの描画を含めたシステムの提供が従来は困難であった。
 図14は、アバター同士が握手をする場合の細部について、従来技術と本発明とを比較した説明図である。図14は、アバター同士のアクションとして握手を行う場合の動作の時間推移を、従来技術と本実施形態とで比較して説明する図である。
 図14の上下方向は時間の推移を示しており、最上部の0から、時刻T1、T2と、以下T6まで、時間間隔tにて目盛りを記載している。従来技術、本実施形態とも、握手を行う当事者である視聴者アバターの手100-h、配信者アバターの手12-1b-hとが、時刻の推移とともに接近する様子を表している。
 本実施形態においては、時間間隔tに応じて毎時刻とも、手100-h、12-1b-hは、そのレンダリング結果として、第2の移動量m2だけ相手方へ移動しており、最後に時刻T5で握手をしている。
 一方、従来技術においては、各アバターを描画するのに用いるデータの送信レイト(各単位時間当たりの送信データ量)は、本実施形態の約1/3としており、その結果、時間間隔tで区切られる時刻の3つの時刻は、手100-h、12-1b-hは同じ位置にレンダリングがなされる。その後、第2の移動量m2のおよそ3倍の移動量である第1の移動量だけ前進して、手100-h、12-1b-hのレンダリングがなされ、以後も繰り返される。
 このため、従来技術においては、レンダリングされた手100-h、12-1b-hの動きが荒く、すなわち時間的な粒度が大きくなり、時刻T5では双方の手100-h、12-1b-hは握手をするべき位置まで行きついておらず、次の単位時刻T6では握手をするべき位置を行き過ぎてしまっている。
 図14図示の説明は、視聴者や配信者が等速度で操作をして、手を動かすべきモーションデータを作成したことを前提としており、もちろん視聴者や配信者はライブコンテンツの表示を見ながら手を動かくす操作の速度を変えて、モーションデータを異なる値とすることは可能であるが、それでも従来技術構成では、本実施形態と比較してアバターレンダリングの時間的粒度が荒く、従って操作性が低下しており、動きもより不自然である。
 図15は、本発明のコンテンツ配信受信システムが実行する、アバター同士が握手を行う場合の細部を説明する説明図である。
 図16は、図15図示の握手の動作を説明するフローチャートである。
 図15は、本実施形態において握手を行うための動作を、双方の手100-h、12-1b-hが離れた位置にあるときから、握手をする位置まで、時刻推移に従って説明するもので、関連するフローチャート図16とともに、詳細を説明する。
 なお、ここに説明する本実施形態の特徴的制御は、配信者端末11、視聴者端末21、あるいはサーバ2のいずれかに備えられた制御部が単独で、あるいは他と協働して行ってもよいが、以下の説明では配信者端末11の制御部が実行を行うこととする。
 配信者端末11は、まず、握手を行う動作のための特別な制御を行うべき、双方の手100-h、12-1b-hの距離の閾値Dがあらかじめ決められているので、配信者端末11のメモリから読み出す(ステップS301)。閾値は例えば、実空間における1メートルに相当する距離とする。そして、アバターのレンダリング用データの転送速度を通常通りの値、すなわち相対的に低い値であるLOWとする(ステップS302)。
 次に、握手を行うべき手を、配信者アバターの手12-1b-hと視聴者アバターの手100と特定する(S303)。特定は、握手をしようとする視聴者が操作により設定して行ってもよいし、仮想空間30の状況から、一番近いアバターなどの条件でシステムが自動で行ってもよい。次に配信者端末11は特定された手の距離を、幾何学的手法などを用いて計算し、計算結果dが閾値D以上である限り、データ転送速度をLOWのままとする(ステップS304,S305)。
 図15において、時刻0からT5までという時間領域p1において、計算された距離dが閾値D以上であるので、手100-h、12-1b-hの移動レンダリングは時間的に粗く、時間tの3倍ごとに、第3の移動量m3で移動する。
 そして、計算値dが閾値Dを下回ると、レンダリング用データの転送速度をより高く、およそ3倍としたHIGHに設定し(ステップS306)、この結果、時刻T6からT14までの時間領域p2においては手100-h、12-1b-hは、第3の移動量の約1/3である第4の移動量で時間tごとに移動し、容易に相互の接触動作をさせることができ、最後に時刻T14で接触して握手が行われる(ステップS307)。
 本実施形態では以上のように構成したので、握手をしようとする双方のアバターが離れた位置にあるときには、アバターのレンダリングに用いるためのデータの転送速度(単位時間当たりのデータ転送量)は比較的小さく、この結果、システムへの負荷が小さくなる。一方、双方のアバターが接近して握手の実行まで近づくと、データ転送速度を上げて、そのレンダリングが不自然でないようにし、アバターを操作して握手をしようとする操作を容易なものとする。すなわち、システムへの負荷の低減と、自然なレンダリング結果および操作の容易性とを両立させることができる。
〔変形例その1 ~各構成の配置の任意性〕
 先の本実施形態の説明では、各アバターを含む仮想的オブジェクトのレンダリングを、視聴者が用いる視聴者端末など、視聴を行うユーザの端末で行うこととした。しかしながらこのように構成をする点は本発明の実施に当たり必須なものでも本質的なものでもない。すなわち、このレンダリングを、配信を行う端末、サーバあるいは他の各種端末で行ってもよい。そのようにレンダリングを行うためには、あらかじめバーチャルオブジェクトの外観を含めた仕様のデータ、およびモーションデータがレンダリングを行おうとするサーバ、あるいは端末もしくはその双方に送信されていればよい。
〔変形例その2 ~ 関連する種々の表示の態様〕
 以上説明を行った本実施形態における本発明の効果を更に向上させるために、以下のような実施形態としてもよいし、これらを適宜組み合わせてもよい。いずれも本発明に含まれる。
 図17は、本発明のコンテンツ配信受信システムにおける、種々の表示の態様を示す模式図である。
(a)接触対象アバターをシステムが推奨する・・・視聴者アバターに対しては配信者アバターを握手の対象としてシステムが推奨したり、過去に握手をした経過があるアバターなどを推奨したりしてもよい。図17(A)は、このように推奨されたアバターである配信者アバター12-1bの上に推奨を示すフラグ17-1が示されており、この結果、ライブコンテンツを視聴する視聴者は、他のアバター17-2から容易に、配信者アバター12-1bを区別して認識することができる。
(b)対象アバター接近のアラート・・・握手を行う相手のアバターが何らかの方法で決まっている場合、この対象アバターが先に説明した閾値Dあるいは他の距離より近づいた場合に、アラート17-3を表示して視聴者に準備をさせることができる。
(c)タッピングで接触対象アバターを選択・・・視聴者端末がスマートフォンである場合、握手を行う相手のアバターを視聴者が選択するための操作として、指17-4でタッチセンサー画面に触れて、すなわちタッピングして選択すると操作性がよい。視聴者端末がパーソナルコンピュータである場合には、マウスポインタあるいはキーボードを用いてもよい。
(d)自動で握手・・・握手など他のアバターと接触するアクションは、最終段階で互いの身体を接触させるので細かい操作が必要であり、実空間での握手と比べればアバターを動かすためのモーションデータ作成操作は操作性がよくはない。そこで握手の最終段階では、操作者が操作するのではなく、システムが自動で双方の手が合う位置まで移動をさせたり、あるいは双方のアバターごと移動させたりすることも考えられる。
〔変形例その3 ~ 生放送以外のコンテンツでの活用〕
 以上の各実施形態では、生放送中のライブコンテンツにおいて、双方のアバターが操作者により操作をされていることを前提として説明を行った。一方、生放送の仮想的空間コンテンツを後で再生したり、あるいは再生専用のライブコンテンツにおいて、あとからアバターとしてコンテンツ中に参加が行えたりするシステムの提案がなされている。この場合でも、一方のアバターの操作のみであるが握手などが可能であるので、先に説明を行った本発明の構成をそのまま適用することができる。
〔変形例その4 ~ アバター間の距離に応じたデータ配信間隔の増減制御〕
 先に説明をした各実施例では、複数のアバター同士が接近して例えば握手という動作を行う場合に、遠方から近傍まで近づく距離に応じて、アバターのレンダリング用データの送信時間間隔を小さくする制御を行う点について説明をした。
 一方、握手を実行したり、あるいは握手を行わなかったりした後、これらアバターが離れていく場合には、距離に応じてアバターのレンダリング用データの送信時間間隔を大きくする制御を行うようにしてもよい。すなわち、アバター間の距離に応じて、アバターのレンダリング用データの送信時間隔を変動させる制御、言い換えれば、アバターのレンダリング用データの、単位時間当たりの送信量、すなわち送信速度を変動させる制御を行うこととなる。そのように構成することでシステムの回線負荷が低下してデータ送信破綻のない、リアルタイム性が向上した動画配信が行える。
〔変形性その5 ~ 指定をしない複数のアバター相互の距離に応じた制御〕
 同様に、先の説明では、例えば握手というアクションを行おうとするアバターがあらかじめ決められていたり、あるいは指定がなされ、この指定などがされたアバター同士の間の距離を計測したりして、レンダリング用データ配信間隔時間の制御を行う構成とした。
 一方、この構成に限らず、例えばバーチャルリアリティ空間内にあるすべてのアバター間の距離を計測継続し、それら間隔のいずれがかが閾値を下回った場合にデータ送信間隔を小さくしたり、あるいは閾値を上回った場合にデータ送信間隔を大きくしたりするよう制御を行ってもよい。
 このように構成することで、アバター間の握手は不意に(衝動的に)起きる場合がありその場合にも対処が行えるし、各アバターの操作者としては、あえて接触予定のアバターであるように指定をする操作上のわずらわしさが解消されるメリットがある。
 なお、先に説明をした各実施例において、アバターをレンダリングするために送信データ量の制御として、データを送信するタイミングの間隔を小さくする、と説明した点は、換言すれば、単位時間当たりのデータの送信量を大きくする、とも言うことができるし、逆にデータを送信するタイミングの間隔を大きくする、と説明した点は、換言すれば、単位時間当たりのデータの送信量を小さくする、とも言うことができる。言い換えれば、アバターのレンダリング用データの、単位時間当たりの送信量、すなわち送信速度を、アバター間の距離に応じて変動させる制御を行うこととなる。この点は各実施例において共通である。
(発明の効果の説明)
 仮想空間を対象とするライブコンテンツにおいて、アバター同士が接触するアクションである、例えば握手をしようとする双方のアバターが離れた位置にあるときには、アバターのレンダリングに用いるためのデータの転送速度(単位時間当たりのデータ転送量)は比較的小さく、この結果、システムへの負荷が小さくなる。
 一方、双方のアバターが接近して握手の実行まで近づくと、データ転送速度を上げて、そのレンダリングが不自然でないようにし、アバターを操作して握手をしようとする操作を容易なものとすることができる。すなわち、システムへの負荷の低減と、自然なレンダリング結果および操作の容易性とを両立させることができる。
 本発明は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
1…コンテンツ配信受信システム、2…コンテンツ配信サーバ、2a…入出力インターフェース、2b…制御部、2c…コンテンツ情報記憶部、2d…コンテンツ配信部、2f…プログラム記憶部、2g…ユーザ管理部、2i…バスライン、3…インターネット通信網、9-1…アバターの外観データ、9-2…アバターのモーションデータ(動作のデータ、動作の情報)、9-2a…モーションデータの節、9-2b…モーションデータの枝、9-3…アバターのレンダリング用データ、11…配信者端末、11a…入出力インターフェース、11b…制御部、11c…アバター操作部、11e…レンダリング部、11f…表示部、11g…操作部、11h…プログラム記憶部、11i…データ記憶部、11k…コメント投稿部、11m…バスライン、12…第1の視聴者端末、12a…入出力インターフェース、12b…制御部、12c…アバター操作部、12e…アイテム投稿部、12f…表示部、12g…操作部、12h…プログラム記憶部、12i…データ記憶部、12k…コメント投稿部、12m…バスライン、12-1…表示パネル、12-1a…動画表示エリア、12-1b…第1の配信者のアバター、12-1c…第1の視聴者のアバター、12-1d…リボン型バーチャルオブジェクト、12-1e…ホームボタン表示、12-1f…停止ボタン表示、12-1g…ポーズボタン表示、12-1h…再生ボタン表示、12-1i…コメント投稿ボタン表示、12-1k…シークバー表示、12-1m…シークボタン表示、12-1n…樹木、12-1o…家屋、12-1r…コメント、12-2…マウスカーソル、12-3…マウスポインタ、12-4…キーボード、22…第2の視聴者端末、30…仮想空間、31…背景、32…仮想的カメラ、100…視聴者アバター

Claims (7)

  1.  通信回線を介して接続される複数の端末の利用者が3次元仮想空間を共有し、該3次元仮想空間中に個々の利用者を象徴するアバターを出現させ、(1)該3次元仮想空間における個々の前記アバターの位置・方向情報、または(2)該3次元仮想空間における個々の前記アバターのレンダリング済みデータ、を前記複数の端末それぞれへ配信部から配信することによって、前記複数の端末それぞれの表示画面において前記アバターのコンピュータグラフィック・アニメーション表示を実現する、仮想空間中のアバター表示システムであって、
     前記3次元仮想空間内において、個々の前記アバター相互の距離情報を生成する距離情報生成部を更に備え、且つ、当該アバター表示システムが有する制御部が、前記生成された相互の距離情報に応じて前記配信部が行う前記配信の単位時間当たりの情報量を変動させるよう構成されたことを特徴とする、仮想空間中のアバター表示システム。
  2.  前記複数の端末の少なくともいずれかが、前記相互の距離情報を生成する対象の前記アバターを選択する選択部を備えたことを特徴とする、請求項1に記載の仮想空間中のアバター表示システム。
  3.  前記制御部は、生成された前記アバター相互の距離が、あらかじめ決められた閾値を下回った場合に前記配信の単位時間当たりの情報量を増加させるよう制御することを特徴とする、請求項1または2に記載の仮想空間中のアバター表示システム。
  4.  通信回線を介して接続される複数の端末の利用者が3次元仮想空間を共有し、該3次元仮想空間中に個々の利用者を象徴するアバターを出現させるとともに、配信部が、(1)該3次元仮想空間における個々の前記アバターの位置・方向情報、または(2)該3次元仮想空間における個々の前記アバターのレンダリング済みデータ、を前記複数の端末それぞれへ配信する配信ステップを備えることによって、前記複数の端末それぞれの表示画面において前記各アバターのコンピュータグラフィック・アニメーション表示を実現する、仮想空間中のアバター表示方法であって、
     距離情報生成部が前記3次元仮想空間内において個々の前記アバター相互の距離情報を生成するステップを更に備え、且つ、システムが有する制御部が、前記生成された相互の距離情報に応じて前記配信ステップで実行される前記配信の単位時間当たりの情報量を変動させるステップを備えることを特徴とする、仮想空間中のアバター表示方法。
  5.  前記複数の端末の少なくともいずれかに備えられた選択部が前記相互の距離情報を生成する対象のアバターを選択するステップ、を備えたことを特徴とする、請求項4に記載の仮想空間中のアバター表示方法。
  6.  前記制御部は、生成された前記アバター相互の距離が、あらかじめ決められた閾値を下回った場合に前記配信の単位時間当たりの情報量を増加させるよう制御することを特徴とする、請求項4または5に記載の仮想空間中のアバター表示方法。
  7.  請求項4乃至6のいずれか1項に記載の仮想空間中のアバター表示方法が備える各ステップをコンピュータに実行させるコンピュータプログラム。
PCT/JP2019/042289 2018-10-31 2019-10-29 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム WO2020090786A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/258,277 US11205293B2 (en) 2018-10-31 2019-10-29 Avatar display system in virtual space, avatar display method in virtual space, and computer program
CN201980046970.6A CN112424760A (zh) 2018-10-31 2019-10-29 虚拟空间中的虚拟人物显示系统、虚拟空间中的虚拟人物显示方法及计算机程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018215065A JP6724110B2 (ja) 2018-10-31 2018-10-31 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
JP2018-215065 2018-10-31

Publications (1)

Publication Number Publication Date
WO2020090786A1 true WO2020090786A1 (ja) 2020-05-07

Family

ID=70463195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042289 WO2020090786A1 (ja) 2018-10-31 2019-10-29 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム

Country Status (4)

Country Link
US (1) US11205293B2 (ja)
JP (1) JP6724110B2 (ja)
CN (1) CN112424760A (ja)
WO (1) WO2020090786A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6995416B1 (ja) 2021-06-09 2022-01-14 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7015597B1 (ja) 2021-06-25 2022-02-03 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7245890B1 (ja) 2021-11-19 2023-03-24 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
JP2023075879A (ja) * 2021-11-19 2023-05-31 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
US11998845B2 (en) 2021-06-28 2024-06-04 Gree, Inc. Information processing system, information processing method and information processing program
JP7550456B2 (ja) 2021-12-23 2024-09-13 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161312A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
US11044535B2 (en) 2018-08-28 2021-06-22 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
WO2020105568A1 (ja) 2018-11-20 2020-05-28 グリー株式会社 動画を配信するシステム、方法、及びプログラム
JPWO2020129115A1 (ja) * 2018-12-17 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム
US11337023B2 (en) * 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
EP4158908A4 (en) 2020-05-29 2023-11-29 Magic Leap, Inc. SURFACE COLLISIONS
US20220070235A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US12034785B2 (en) 2020-08-28 2024-07-09 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
CN112788358B (zh) 2020-12-31 2022-02-18 腾讯科技(深圳)有限公司 游戏对局的视频直播方法、视频发送方法、装置及设备
JPWO2022201509A1 (ja) * 2021-03-26 2022-09-29
JP7288990B2 (ja) * 2021-07-29 2023-06-08 グリー株式会社 動画配信システム、動画配信方法及び動画配信プログラム
CN118160315A (zh) 2021-11-04 2024-06-07 索尼集团公司 分发装置、分发方法和程序
CN113965812B (zh) * 2021-12-21 2022-03-25 广州虎牙信息科技有限公司 直播方法、系统及直播设备
TWI807860B (zh) * 2022-06-14 2023-07-01 啟雲科技股份有限公司 虛擬實境網路表演者系統及電腦程式產品
WO2024020452A1 (en) * 2022-07-20 2024-01-25 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
JP7521072B1 (ja) 2023-06-22 2024-07-23 カバー株式会社 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP7495558B1 (ja) 2023-06-22 2024-06-04 カバー株式会社 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法
JP7521073B1 (ja) 2023-06-22 2024-07-23 カバー株式会社 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288791A (ja) * 1994-04-19 1995-10-31 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想空間共有装置
JPH09212679A (ja) * 1996-02-05 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> 利用者参加型システムの映像表示方法
JP2000306120A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 分散仮想空間情報管理伝送方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736982A (en) * 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
CA2180891C (en) * 1995-07-12 2010-01-12 Junichi Rekimoto Notification of updates in a three-dimensional virtual reality space sharing system
JP3623415B2 (ja) 1999-12-02 2005-02-23 日本電信電話株式会社 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
JP2002216165A (ja) 2001-01-12 2002-08-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
KR20030035138A (ko) * 2001-10-30 2003-05-09 한국전자통신연구원 클라이언트-서버 기반 네트워크 가상환경에서 상태정보의전송 방법
US8441486B2 (en) * 2009-04-27 2013-05-14 Jagex Ltd. Position tracking in a virtual world
JP6457446B2 (ja) * 2016-08-23 2019-01-23 株式会社コロプラ 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム
JP6906929B2 (ja) * 2016-11-10 2021-07-21 株式会社バンダイナムコエンターテインメント ゲームシステム及びプログラム
CN108126344B (zh) * 2018-01-24 2021-04-20 网易(杭州)网络有限公司 游戏中位置的共享方法、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288791A (ja) * 1994-04-19 1995-10-31 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想空間共有装置
JPH09212679A (ja) * 1996-02-05 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> 利用者参加型システムの映像表示方法
JP2000306120A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 分散仮想空間情報管理伝送方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6995416B1 (ja) 2021-06-09 2022-01-14 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP2022188335A (ja) * 2021-06-09 2022-12-21 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
US11694389B2 (en) 2021-06-09 2023-07-04 Cluster, Inc Avatar output device, terminal device, avatar output method, and program
US12067670B2 (en) 2021-06-09 2024-08-20 Cluster, Inc. Avatar output device, terminal device, avatar output method, and program
JP7015597B1 (ja) 2021-06-25 2022-02-03 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP2023004403A (ja) * 2021-06-25 2023-01-17 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
US11998845B2 (en) 2021-06-28 2024-06-04 Gree, Inc. Information processing system, information processing method and information processing program
JP7245890B1 (ja) 2021-11-19 2023-03-24 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
JP2023075441A (ja) * 2021-11-19 2023-05-31 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
JP2023075879A (ja) * 2021-11-19 2023-05-31 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
JP7550456B2 (ja) 2021-12-23 2024-09-13 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム

Also Published As

Publication number Publication date
US20210248803A1 (en) 2021-08-12
JP6724110B2 (ja) 2020-07-15
US11205293B2 (en) 2021-12-21
JP2020091504A (ja) 2020-06-11
CN112424760A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
JP6724110B2 (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
US11050977B2 (en) Immersive interactive remote participation in live entertainment
CN112334886B (zh) 内容分发系统、内容分发方法、记录介质
JP6707111B2 (ja) 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
JP2020144887A (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
CN109478342B (zh) 图像显示装置及图像显示系统
US20240196025A1 (en) Computer program, server device, terminal device, and method
JP2020170519A (ja) コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
JP7496558B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP7225159B2 (ja) 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム
JP6533022B1 (ja) 端末、サーバおよびプログラム
US20240303947A1 (en) Information processing device, information processing terminal, information processing method, and program
WO2024009653A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
JP7250721B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
WO2024101001A1 (en) Information processing system, information processing method, and program for communication points regarding events
US20240114181A1 (en) Information processing device, information processing method, and program
JP2020108177A (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP2020161159A (ja) サーバ、方法、プログラム、動画像放送システム
KR20200134190A (ko) 동영상 서비스 제공 방법 및 장치
JP2023123389A (ja) コミュニケーションシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19879895

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19879895

Country of ref document: EP

Kind code of ref document: A1