JP6937803B2 - Distribution A video distribution system, video distribution method, and video distribution program that delivers live video including animation of character objects generated based on the movement of the user. - Google Patents

Distribution A video distribution system, video distribution method, and video distribution program that delivers live video including animation of character objects generated based on the movement of the user. Download PDF

Info

Publication number
JP6937803B2
JP6937803B2 JP2019157010A JP2019157010A JP6937803B2 JP 6937803 B2 JP6937803 B2 JP 6937803B2 JP 2019157010 A JP2019157010 A JP 2019157010A JP 2019157010 A JP2019157010 A JP 2019157010A JP 6937803 B2 JP6937803 B2 JP 6937803B2
Authority
JP
Japan
Prior art keywords
user
users
starring
video
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019157010A
Other languages
Japanese (ja)
Other versions
JP2021035017A (en
Inventor
健悟 栗田
健悟 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREE Inc filed Critical GREE Inc
Priority to JP2019157010A priority Critical patent/JP6937803B2/en
Publication of JP2021035017A publication Critical patent/JP2021035017A/en
Priority to JP2021141247A priority patent/JP7379427B2/en
Application granted granted Critical
Publication of JP6937803B2 publication Critical patent/JP6937803B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本明細書における開示は、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラムに関する。 The disclosure in the present specification relates to a video distribution system, a video distribution method, and a video distribution program for live distribution of a video including an animation of a character object generated based on the movement of a distribution user.

従来から、配信ユーザの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムが知られている。このような動画配信システムは、例えば、特開2015−184689号公報(特許文献1)及び「長谷川 雄介,ヴァーチャルアイドル新時代の幕開け PROJECT Maria,CG WORLD,日本,株式会社ボーンデジタル,2017年11月10日,第231巻,pp.74−79」(非特許文献1)に開示されている。 Conventionally, there has been known a video distribution system that generates an animation of a character object based on the movement of a distribution user and delivers a video including the animation of the character object live. Such a video distribution system is described in, for example, Japanese Patent Application Laid-Open No. 2015-184689 (Patent Document 1) and "Yusuke Hasegawa, the dawn of a new era of virtual idols PROJECT Maria, CG WORLD, Japan, Bone Digital Co., Ltd., November 2017. 10th, Vol. 231 pp. 74-79 ”(Non-Patent Document 1).

配信ユーザの動きに基づいて生成されたキャラクタオブジェクトを含む動画を配信する動画配信サービスが提供されている。このようなサービスとして、株式会社ドワンゴが提供する「バーチャルキャスト」が知られている。バーチャルキャストでは、ある配信ユーザが配信している動画に当該動画を視聴している視聴ユーザからの共演リクエストに応じて当該視聴ユーザのキャラクタオブジェクトが当該動画に含められる。これにより、配信ユーザと視聴ユーザとが各々のキャラクタオブジェクトを介して動画内で仮想的に共演する(非特許文献2参照)。 A video distribution service that distributes a video containing a character object generated based on the movement of a distribution user is provided. As such a service, "Virtual Cast" provided by Dwango Co., Ltd. is known. In the virtual cast, the character object of the viewing user is included in the video distributed by the distribution user in response to the co-starring request from the viewing user who is viewing the video. As a result, the distribution user and the viewing user virtually co-star in the moving image via their respective character objects (see Non-Patent Document 2).

長谷川 雄介,ヴァーチャルアイドル新時代の幕開け PROJECT MariA,CG WORLD,日本,株式会社ボーンデジタル,2017年11月10日,第231巻,pp.74−79Yusuke Hasegawa, Dawn of a new era of virtual idols PROJECT MariA, CG WORLD, Japan, Bone Digital Co., Ltd., November 10, 2017, Volume 231 and pp. 74-79 株式会社ドワンゴ、 [バーチャルキャスト]凸について″、[online]、[平成31年5月21日検索]、インターネット〈URL:https://qa.nicovideo.jp/faq/show/10740?category_id=718&site_domain=defaultDwango Co., Ltd., [Virtual Cast] Convex ″, [online], [Search on May 21, 2019], Internet <URL: https://qa.nicovideo.jp/faq/show/10740?category_id=718&site_domain = default

配信動画を視聴する視聴ユーザの数が多くなると視聴ユーザから配信ユーザに対して大量の共演要求が送られる可能性がある。配信動画のクオリティを保つために、どのような視聴ユーザが共演相手であるかは、配信ユーザにとって重大な関心事である。大量の共演要求がなされると、配信ユーザにとっては大量の共演要求の中から共演相手としてふさわしい視聴ユーザを選択することが難しくなる。 When the number of viewing users who watch the distributed video increases, there is a possibility that the viewing user sends a large number of co-starring requests to the distribution user. In order to maintain the quality of the delivered video, what kind of viewing user is the co-starring partner is a serious concern for the delivered user. When a large number of co-starring requests are made, it becomes difficult for the distribution user to select a viewing user suitable as a co-starring partner from the large number of co-starring requests.

視聴ユーザからの共演要求に基づいて当該視聴ユーザの共演可否を決定し、その決定された共演可否を示す通知を視聴ユーザに対して送信する場合には、当該通知を生成して送信するための処理負荷及び通信トラフィックが増大するという問題がある。上記の問題は、視聴ユーザの数が増加するほど深刻化することになる。人気のある配信ユーザは、数万人以上の視聴ユーザを得ると考えられるので、上記の問題を解決又は緩和するための技術的な対応が求められる。 When determining whether or not the viewing user can co-star based on the co-starring request from the viewing user and sending a notification indicating the determined co-starring or not to the viewing user, the notification is to be generated and transmitted. There is a problem that the processing load and communication traffic increase. The above problem becomes more serious as the number of viewing users increases. Since popular distribution users are expected to obtain tens of thousands or more viewing users, technical measures are required to solve or alleviate the above problems.

本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、視聴ユーザからの共演要求によって必要となる処理に関する処理負荷を低減することができる動画配信システム、動画配信方法及び動画配信プログラムを提供することである。 An object of the present disclosure is to provide technical improvements that solve or alleviate at least some of the problems of the prior art described above. One of the more specific purposes of the present disclosure is to provide a video distribution system, a video distribution method, and a video distribution program that can reduce the processing load related to the processing required by the co-starring request from the viewing user. ..

本発明の一態様は、一又は複数のコンピュータプロセッサを備え、動画配信システムに関する。前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、配信ユーザの動きに基づいて生成される第1キャラクタオブジェクトを含む動画を複数の視聴ユーザの各々のクライアント装置に配信し、前記複数の視聴ユーザから前記動画への参加要求を受け付けたことに応じて、前記複数の視聴ユーザの中から複数の参加ユーザを選定し、前記複数の参加ユーザの各々に対応する複数の第2キャラクタオブジェクトを前記動画内に含め、前記複数の参加ユーザの少なくとも一部から前記配信ユーザとの共演を申請する共演要求を受け付け、前記共演要求を行った参加ユーザの中から一又は複数のゲストユーザを選定し、前記一又は複数のゲストユーザの選定に関する通知を前記一又は複数のゲストユーザの各々に送信し、前記第2キャラクタオブジェクトのうち前記一又は複数のゲストユーザの少なくとも一部に対応するゲストキャラクタオブジェクトを前記動画内に含める。 One aspect of the present invention relates to a video distribution system comprising one or more computer processors. By executing a computer-readable instruction, the one or more computer processors distribute a moving image including a first character object generated based on the movement of the distribution user to each client device of the plurality of viewing users. , A plurality of participating users are selected from the plurality of viewing users in response to receiving requests for participation in the moving image from the plurality of viewing users, and a plurality of firsts corresponding to each of the plurality of participating users. Two character objects are included in the video, and at least a part of the plurality of participating users accepts a co-starring request for co-starring with the distribution user, and one or more guests from the participating users who have made the co-starring request. Select a user, send a notification regarding the selection of the one or more guest users to each of the one or more guest users, and correspond to at least a part of the one or more guest users in the second character object. The guest character object to be used is included in the moving image.

一態様において、前記一又は複数のコンピュータプロセッサは、前記複数の参加ユーザの各々のクライアント装置において前記共演要求を行うための機能をアクティベートさせるためのコマンドを前記複数の参加ユーザの各々のクライアント装置に送信する。 In one aspect, the one or more computer processors give commands to each client device of the plurality of participating users to activate a function for making the co-starring request in each client device of the plurality of participating users. Send.

一態様において、前記複数の参加ユーザのうちの一の参加ユーザからの前記共演要求には前記一の参加ユーザからのメッセージが含まれる。 In one aspect, the co-starring request from one of the plurality of participating users includes a message from the one participating user.

一態様において、前記複数の参加ユーザのうちの一の参加ユーザからの前記共演要求には前記一の参加ユーザからのモーションデータが含まれる。前記一又は複数のコンピュータプロセッサは、前記一の参加ユーザに対応する前記第2キャラクタオブジェクトに前記動画内において前記モーションデータに対応する動作を行わせる。 In one aspect, the co-starring request from one of the plurality of participating users includes motion data from the one participating user. The one or more computer processors causes the second character object corresponding to the one participating user to perform an operation corresponding to the motion data in the moving image.

一態様において、前記参加要求に基づく前記複数の参加ユーザの選定は、所定のアルゴリズムに基づいて行われる。 In one aspect, the selection of the plurality of participating users based on the participation request is performed based on a predetermined algorithm.

一態様において、前記共演要求に基づく前記一又は複数のゲストユーザの選定は、前記配信ユーザの選択に応じて行われる。 In one aspect, the selection of the one or more guest users based on the co-starring request is made according to the selection of the distribution user.

前記一又は複数のコンピュータプロセッサは、前記複数の参加ユーザ以外の前記複数の視聴ユーザに対しては、前記複数の参加ユーザの選定に関する通知を送信しない。 The one or more computer processors do not send a notification regarding the selection of the plurality of participating users to the plurality of viewing users other than the plurality of participating users.

本発明の一態様は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法に関する。動画配信方法は、配信ユーザの動きに基づいて生成される第1キャラクタオブジェクトを含む動画を複数の視聴ユーザの各々のクライアント装置に配信する工程と、前記複数の視聴ユーザから前記動画への参加要求を受け付けたことに応じて、前記複数の視聴ユーザの中から複数の参加ユーザを選定する工程と、前記複数の参加ユーザの各々に対応する複数の第2キャラクタオブジェクトを前記動画内に含める工程と、前記複数の参加ユーザの少なくとも一部から前記配信ユーザとの共演を申請する共演要求を受け付け、前記共演要求を行った参加ユーザの中から一又は複数のゲストユーザを選定する工程と、前記一又は複数のゲストユーザの選定に関する通知を前記一又は複数のゲストユーザの各々に送信する工程と、前記第2キャラクタオブジェクトのうち前記一又は複数のゲストユーザの少なくとも一部に対応するゲストキャラクタオブジェクトを前記動画内に含める工程と、を備える。 One aspect of the present invention relates to a video distribution method executed by one or more computer processors executing computer-readable instructions. The video distribution method includes a step of distributing a video including a first character object generated based on the movement of the distribution user to each client device of a plurality of viewing users, and a request for participation in the video from the plurality of viewing users. A step of selecting a plurality of participating users from the plurality of viewing users according to the acceptance of the above, and a step of including a plurality of second character objects corresponding to each of the plurality of participating users in the moving image. The process of receiving a co-starring request for co-starring with the distribution user from at least a part of the plurality of participating users and selecting one or a plurality of guest users from the participating users who have made the co-starring request, and the above-mentioned one. Alternatively, a step of transmitting a notification regarding selection of a plurality of guest users to each of the one or a plurality of guest users, and a guest character object corresponding to at least a part of the one or a plurality of guest users among the second character objects. It includes a step of including it in the moving image.

本発明の一態様は、動画配信プログラムに関する。この動画配信プログラムは、一又は複数のコンピュータプロセッサに、配信ユーザの動きに基づいて生成される第1キャラクタオブジェクトを含む動画を複数の視聴ユーザの各々のクライアント装置に配信する工程と、前記複数の視聴ユーザから前記動画への参加要求を受け付けたことに応じて、前記複数の視聴ユーザの中から複数の参加ユーザを選定する工程と、前記複数の参加ユーザの各々に対応する複数の第2キャラクタオブジェクトを前記動画内に含める工程と、前記複数の参加ユーザの少なくとも一部から前記配信ユーザとの共演を申請する共演要求を受け付け、前記共演要求を行った参加ユーザの中から一又は複数のゲストユーザを選定する工程と、前記一又は複数のゲストユーザの選定に関する通知を前記一又は複数のゲストユーザの各々に送信する工程と、前記第2キャラクタオブジェクトのうち前記一又は複数のゲストユーザの少なくとも一部に対応するゲストキャラクタオブジェクトを前記動画内に含める工程と、を実行させる。 One aspect of the present invention relates to a video distribution program. This video distribution program includes a step of distributing a video including a first character object generated based on a movement of a distribution user to one or a plurality of computer processors to each client device of a plurality of viewing users, and the plurality of steps. A process of selecting a plurality of participating users from the plurality of viewing users in response to receiving a request for participation in the video from the viewing user, and a plurality of second characters corresponding to each of the plurality of participating users. The process of including the object in the moving image and one or more guests from among the participating users who have received the co-starring request for co-starring with the distribution user from at least a part of the plurality of participating users and made the co-starring request. A step of selecting a user, a step of transmitting a notification regarding selection of the one or more guest users to each of the one or a plurality of guest users, and a step of transmitting at least one or a plurality of the guest users of the second character object. The step of including the guest character object corresponding to a part in the moving image and the step of including the guest character object are executed.

本発明の実施形態によれば、視聴ユーザからの共演要求によって必要となる処理に関する処理負荷を低減することができる。 According to the embodiment of the present invention, it is possible to reduce the processing load related to the processing required by the co-starring request from the viewing user.

本発明の一実施形態による動画配信システムの概略を示すブロック図である。It is a block diagram which shows the outline of the moving image distribution system by one Embodiment of this invention. 図1の動画配信システムをより詳細に示すブロック図である。It is a block diagram which shows the moving image distribution system of FIG. 1 in more detail. 図1の動画配信システムで配信される動画を制作するスタジオの設備を模式的に示す模式図である。It is a schematic diagram which shows typically the equipment of the studio which produces the moving image distributed by the moving image distribution system of FIG. 図1の動画配信システムにおいて記憶されるユーザデータを説明する図である。It is a figure explaining the user data stored in the moving image distribution system of FIG. 図1の動画配信システムにおいて記憶されるアバタデータを説明する図である。It is a figure explaining the avatar data stored in the moving image distribution system of FIG. 共演要求に含まれる情報を説明するための図である。It is a figure for demonstrating the information included in the co-starring request. 一実施形態においてクライアント装置10aに表示される動画の例を示す図である。It is a figure which shows the example of the moving image which is displayed on the client apparatus 10a in one Embodiment. 一実施形態においてクライアント装置10aに表示される動画の例を示す図である。It is a figure which shows the example of the moving image which is displayed on the client apparatus 10a in one Embodiment. 一実施形態においてクライアント装置10aに表示される動画の例を示す図である。It is a figure which shows the example of the moving image which is displayed on the client apparatus 10a in one Embodiment. 一実施形態においてクライアント装置10aに表示される動画の例を示す図である。It is a figure which shows the example of the moving image which is displayed on the client apparatus 10a in one Embodiment. 一実施形態においてクライアント装置10aに表示される共演動画の例を示す図である。It is a figure which shows the example of the co-starring moving image which is displayed on the client apparatus 10a in one Embodiment. 一実施形態における動画配信処理の流れを示すフロー図である。It is a flow figure which shows the flow of the moving image distribution processing in one Embodiment. 一実施形態における参加要求処理する流れを示すフロー図である。It is a flow chart which shows the flow of processing a participation request in one Embodiment. 一実施形態における共演処理の流れを示すフロー図である。It is a flow figure which shows the flow of the co-starring processing in one Embodiment.

以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。 Hereinafter, various embodiments of the present invention will be described with reference to the drawings as appropriate. The same or similar components are designated by the same reference numerals in a plurality of drawings.

図1を参照して、本発明の一実施形態による動画配信システムの概略について説明する。図1は、本発明の一実施形態による動画配信システム1の概略を示すブロック図である。図示のように、動画配信システム1は、クライアント装置10と、サーバ装置20と、を備える。図示を簡略化するために図1にはクライアント装置10が1つだけ図示されているが、動画配信システム1は、複数のクライアント装置10を備えることができる。サーバ装置20は、動画を配信するように構成される。クライアント装置10は、サーバ装置20から配信された動画を再生するように構成される。視聴ユーザは、クライアント装置10を用いて、サーバ装置20から配信された動画を視聴することができる。サーバ装置20は、後述するように、配信ユーザのキャラクタオブジェクトのアニメーションを含む動画を配信するように構成されてもよい。 An outline of a video distribution system according to an embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing an outline of a moving image distribution system 1 according to an embodiment of the present invention. As shown in the figure, the moving image distribution system 1 includes a client device 10 and a server device 20. Although only one client device 10 is shown in FIG. 1 for simplification of the illustration, the moving image distribution system 1 can include a plurality of client devices 10. The server device 20 is configured to deliver a moving image. The client device 10 is configured to play a moving image distributed from the server device 20. The viewing user can view the moving image distributed from the server device 20 by using the client device 10. As will be described later, the server device 20 may be configured to distribute a moving image including an animation of a character object of a distribution user.

視聴ユーザは、配信された動画をクライアント装置10により視聴している間に、当該動画に自らのキャラクタオブジェクトを表示させるための参加要求をサーバ装置20に送信することができる。サーバ装置20は、当該参加要求に基づいて当該視聴ユーザのキャラクタオブジェクトを動画に表示するか否かを決定する。サーバ装置20は、この決定に応じて、当該視聴ユーザのキャラクタオブジェクトを含むように動画を生成し、その視聴ユーザのキャラクタオブジェクトを含む動画を配信することができる。このようにして、視聴ユーザは、自らのキャラクタオブジェクトを介してサーバ装置20から配信される動画に参加することができる。複数の視聴ユーザのうち配信中の動画に自らのキャラクタオブジェクトが表示されている視聴ユーザ、すなわち、自らのキャラクタオブジェクトを介して動画に参加している視聴ユーザを参加ユーザと呼ぶことがある。動画への参加を許可される参加ユーザの数には上限が設けられてもよい。サーバ装置20は、参加要求を行った複数の視聴ユーザの中から上限数以下の参加ユーザを選定することができる。 The viewing user can send a participation request for displaying his / her character object on the moving image to the server device 20 while viewing the distributed moving image on the client device 10. The server device 20 determines whether or not to display the character object of the viewing user in the moving image based on the participation request. In response to this determination, the server device 20 can generate a moving image so as to include the character object of the viewing user, and can distribute the moving image including the character object of the viewing user. In this way, the viewing user can participate in the moving image distributed from the server device 20 via his / her character object. Of a plurality of viewing users, a viewing user whose character object is displayed in the video being distributed, that is, a viewing user who participates in the video through his / her character object may be referred to as a participating user. There may be an upper limit on the number of participating users who are allowed to participate in the video. The server device 20 can select a maximum number of participating users or less from a plurality of viewing users who have requested participation.

参加ユーザは、クライアント装置10を用いて、配信ユーザとの共演を申し込むための共演要求をサーバ装置20に送信することができる。サーバ装置20は、共演要求を受け取ると、当該共演要求を送信した参加ユーザと配信ユーザとの共演を許可するか否かを決定する。サーバ装置20は、当該参加ユーザと当該配信ユーザとの共演を許可する決定がなされた場合、配信ユーザのキャラクタオブジェクトと参加ユーザのキャラクタオブジェクトとを含む共演動画を生成し、この共演動画を配信することができる。このようにして、動画配信システム1においては、配信ユーザと視聴ユーザとが各々のキャラクタオブジェクトを介して動画内で仮想的に共演することができる。配信ユーザと視聴ユーザとが各々のキャラクタオブジェクトを介して動画内で仮想的に共演している場合、その動画を共演動画と呼ぶことがある。また、共演動画において配信ユーザと共演している視聴ユーザをゲストユーザと呼ぶことがある。ゲストユーザは、一人でもよいし複数人でもよい。複数のゲストユーザが決定された場合には、配信ユーザは、その複数のゲストユーザと順次共演することができる。 Participating users can use the client device 10 to send a co-starring request for applying for co-starring with the distribution user to the server device 20. Upon receiving the co-starring request, the server device 20 determines whether or not to allow the co-starring of the participating user and the distribution user who sent the co-starring request. When a decision is made to allow the participating user and the distribution user to co-star, the server device 20 generates a co-starring video including the character object of the distribution user and the character object of the participating user, and distributes the co-starring video. be able to. In this way, in the video distribution system 1, the distribution user and the viewing user can virtually co-star in the video via their respective character objects. When the distribution user and the viewing user virtually co-star in the video via their respective character objects, the video may be referred to as a co-star video. In addition, the viewing user who is co-starring with the distribution user in the co-starring video may be called a guest user. The guest user may be one person or a plurality of people. When a plurality of guest users are determined, the distribution user can co-star with the plurality of guest users in sequence.

一実施形態において、動画配信システム1は、動画を視聴する視聴ユーザのうち、当該動画への参加要求が認められた参加ユーザのみから共演要求を受け付けるように構成される。例えば、参加要求が認められた参加ユーザのクライアント装置10において共演要求を行うための機能がアクティベートされる。これにより、視聴ユーザのうち参加ユーザのみから共演要求を受け付けることができる。視聴ユーザの数が多くなっても、クライアント装置10から受け付ける共演要求の数を抑制することができる。 In one embodiment, the moving image distribution system 1 is configured to accept a co-starring request only from the participating users who are allowed to participate in the moving image among the viewing users who watch the moving image. For example, the function for making a co-starring request is activated in the client device 10 of the participating user whose participation request is accepted. As a result, the co-starring request can be accepted only from the participating users among the viewing users. Even if the number of viewing users increases, the number of co-starring requests received from the client device 10 can be suppressed.

サーバ装置20は、視聴ユーザからの参加要求に基づいて当該視聴ユーザの参加可否を決定した後、参加要求を行った視聴ユーザ全員に対して当該動画への参加が許可されたか否かを示す通知を送信しないように構成されてもよい。配信される動画に参加が許可された視聴ユーザのキャラクタオブジェクトが含まれているので、視聴ユーザは、動画への参加が許可されたか否かを示す通知を受信しなくとも、視聴する動画に自らのキャラクタオブジェクトが含まれているか否かに基づいて自らの参加要求が許可されたか否かを知ることができる。このように、一実施形態においては、動画への視聴ユーザの参加が認められたか否かを示す情報は当該動画に含められているので、当該動画以外には、参加要求を行った視聴ユーザ全員に対して当該動画への視聴ユーザの参加が認められたか否かを示す通知は送信されない。これにより、動画配信システム1においては、参加要求を行った視聴ユーザ全員に対して、動画への視聴ユーザの参加が認められたか否かを示す通知を動画の配信と別に送信する必要がなくなる。視聴ユーザのうち動画への参加が認められた参加ユーザのクライアント装置10に対しては、参加が認められたことを示す通知が送信されてもよい。参加ユーザのクライアント装置10は、この参加が認められたことを示す通知を受け取ったことに応じて、当該参加ユーザが共演要求を行うための機能をアクティベートしてもよい。 The server device 20 determines whether or not the viewing user can participate based on the participation request from the viewing user, and then notifies all the viewing users who have made the participation request whether or not the participation in the video is permitted. May be configured not to send. Since the delivered video contains the character object of the viewing user who is allowed to participate, the viewing user himself / herself in the video to be viewed without receiving a notification indicating whether or not participation in the video is permitted. It is possible to know whether or not one's participation request is permitted based on whether or not the character object of is included. As described above, in one embodiment, since the information indicating whether or not the viewing user is allowed to participate in the video is included in the video, all the viewing users who have requested the participation other than the video are included. No notification is sent to indicate whether or not the viewing user is allowed to participate in the video. As a result, in the video distribution system 1, it is not necessary to send a notification indicating whether or not the viewing user is allowed to participate in the video to all the viewing users who have requested participation, separately from the distribution of the video. A notification indicating that participation may be permitted may be transmitted to the client device 10 of the participating user who is permitted to participate in the moving image among the viewing users. The client device 10 of the participating user may activate the function for the participating user to make a co-starring request in response to receiving the notification indicating that the participation is approved.

サーバ装置20は、参加ユーザからの共演要求に基づいて当該参加ユーザと配信ユーザとの共演の可否を決定した後、共演が許可された参加ユーザ(ゲストユーザ)に対して共演が許可されたことを通知する許可通知を送信するように構成されてもよい。ゲストユーザは、許可通知を受け取ることにより配信ユーザのキャラクタオブジェクトと動画において共演できることを知ることができる。ゲストユーザは、この共演が許可されたことを示す通知を受けた後に、共演に向けた準備を行うことができる。共演に向けた準備には、例えば、動画に表示される自らのキャラクタオブジェクト(例えば、アバタ)の描写をリッチにするための追加的なコンテンツ(例えば、アタバのパーツ)の購入を含んでもよい。サーバ装置20は、共演要求を行った参加ユーザのうち共演が許可されなかった参加ユーザに対して共演が許可されなかったことを通知する不許可通知を送信するように構成されてもよい。 The server device 20 determines whether or not the participating user and the distribution user can co-star based on the co-starring request from the participating user, and then the co-starring is permitted to the participating user (guest user) who is permitted to co-star. May be configured to send a permission notice to notify. By receiving the permission notification, the guest user can know that he / she can co-star with the character object of the distribution user in the video. The guest user can prepare for the co-starring after being notified that the co-starring is permitted. Preparations for co-starring may include, for example, the purchase of additional content (eg, avatar parts) to enrich the depiction of one's character object (eg, avatar) displayed in the video. The server device 20 may be configured to send a disapproval notice notifying that the co-starring is not permitted to the participating users who have made the co-starring request and the co-starring is not permitted.

動画配信システム1によれば、配信される動画以外には、参加要求を行った視聴ユーザ全員に対して当該参加要求が許可されたか否かを示す通知が送信されない。これにより、サーバ装置20における処理負荷が軽減され、また、通信トラフィックの増大を抑制することができる。他方、一実施形態においては、共演要求に基づいて共演が許可されたことを示す許可通知がゲストユーザに通知されるので、ゲストユーザは配信ユーザとの共演に向けた準備を行うことができる。ゲストユーザは、視聴ユーザ全体のうち参加要求が認められ、且つ、共演要求が認められたユーザであるから、その数は参加要求を行う視聴ユーザ全体の数と比べて少ないので、この許可通知の生成及び送信のために必要となる処理負荷は、視聴ユーザ全体に通知を送信する場合と比較して少ない。 According to the video distribution system 1, a notification indicating whether or not the participation request is permitted is not transmitted to all the viewing users who have made the participation request other than the video to be distributed. As a result, the processing load on the server device 20 can be reduced, and an increase in communication traffic can be suppressed. On the other hand, in one embodiment, since the guest user is notified of the permission notification indicating that the co-starring is permitted based on the co-starring request, the guest user can prepare for the co-starring with the distribution user. Since the guest user is a user who has been granted a participation request and a co-starring request among all the viewing users, the number is smaller than the total number of viewing users who make a participation request. The processing load required for generation and transmission is less than when a notification is transmitted to the entire viewing user.

図2から図6を参照して、一実施形態による動画配信システムについて説明する。図2は、一実施形態による動画配信システム1を示すブロック図であり、図3は、動画配信システム1で配信される動画の制作が行われるスタジオの設備を模式的に示す模式図であり、図4及び図5は、動画配信システム1において記憶される情報を説明するための図であり、図6は、共演要求に含まれる情報を説明するための図である。 A video distribution system according to an embodiment will be described with reference to FIGS. 2 to 6. FIG. 2 is a block diagram showing a video distribution system 1 according to an embodiment, and FIG. 3 is a schematic diagram schematically showing equipment of a studio in which a video distributed by the video distribution system 1 is produced. 4 and 5 are diagrams for explaining the information stored in the moving image distribution system 1, and FIG. 6 is a diagram for explaining the information included in the co-starring request.

図2に示されているように、動画配信システム1は、図1に示したクライアント装置10及びサーバ装置20に加え、スタジオユニット30と、ストレージ25と、を備えることができる。図2に示した実施形態では、クライアント装置10として、3台のクライアント装置10a〜10cが示されている。クライアント装置10a〜10cと、サーバ装置20と、ストレージ25とは、ネットワーク15を介して相互に通信可能に接続されている。 As shown in FIG. 2, the moving image distribution system 1 can include a studio unit 30 and a storage 25 in addition to the client device 10 and the server device 20 shown in FIG. In the embodiment shown in FIG. 2, three client devices 10a to 10c are shown as the client devices 10. The client devices 10a to 10c, the server device 20, and the storage 25 are connected to each other via the network 15 so as to be able to communicate with each other.

動画は、サーバ装置20からクライアント装置10a〜10cの各々に配信され得る。クライアント装置10aのユーザである第1視聴ユーザ、クライアント装置10bのユーザである第2視聴ユーザ、及びクライアント装置10cのユーザである第3視聴ユーザは、配信された動画を各クライアント装置により視聴することができる。動画配信システム1は、3台よりも少ない数のクライアント装置を備えていてもよく、3台よりも多い数のクライアント装置を備えていてもよい。クライアント装置10a〜10c及びこれら以外のクライアント装置を利用してサーバ装置20から配信された動画を視聴するユーザを視聴ユーザと総称する。サーバ装置20から配信された動画を視聴するために、クライアント装置10a〜クライアント装置10cに、当該動画を視聴するための機能を実現する命令セットを有するアプリケーションソフトウェアをダウンロード及びインストールしてもよい。このようなサーバ装置20から配信された動画を視聴する機能を有するアプリケーションソフトウェアを「視聴アプリケーションソフトウェア」又は「視聴アプリ」と呼ぶことがある。サーバ装置20から配信される動画の視聴は、視聴アプリの機能を実行することにより行われてもよい。一実施形態においては、サーバ装置20から配信される動画の視聴は、クライアント装置10a〜クライアント装置10cのうち視聴アプリがインストールされたクライアント装置によって行われ、視聴アプリがインストールされていないクライアント装置からは実行できなくてもよい。サーバ装置20から配信される動画を視聴する視聴ユーザは、自らのキャラクタオブジェクトを当該動画に表示させることができる。言い換えると、視聴ユーザは、自らのキャラクタオブジェクトを介して、配信されている動画に参加することができる。このキャラクタオブジェクトの一例はアバタである。視聴ユーザは、配信されている動画に自らのアバタを表示させ、そのアバタを介して、動画の配信ユーザ(又は配信されている動画内のキャラクタ)や他の視聴ユーザと交流することができる。 The moving image can be distributed from the server device 20 to each of the client devices 10a to 10c. The first viewing user who is the user of the client device 10a, the second viewing user who is the user of the client device 10b, and the third viewing user who is the user of the client device 10c watch the delivered video on each client device. Can be done. The video distribution system 1 may include a number of client devices less than three, or may include more than three client devices. Users who view moving images distributed from the server device 20 by using the client devices 10a to 10c and other client devices are collectively referred to as viewing users. In order to view the moving image delivered from the server device 20, application software having an instruction set that realizes a function for viewing the moving image may be downloaded and installed in the client devices 10a to 10c. Application software having a function of viewing a moving image distributed from such a server device 20 may be referred to as "viewing application software" or "viewing application". Viewing of the moving image delivered from the server device 20 may be performed by executing the function of the viewing application. In one embodiment, the video delivered from the server device 20 is viewed by the client device of the client devices 10a to 10c in which the viewing application is installed, and from the client device in which the viewing application is not installed. It does not have to be possible. A viewing user who watches a moving image distributed from the server device 20 can display his / her own character object on the moving image. In other words, the viewing user can participate in the video being distributed via his or her character object. An example of this character object is the avatar. The viewing user can display his / her own avatar on the distributed video and interact with the distribution user (or the character in the distributed video) or another viewing user through the avatar.

クライアント装置10a〜10cは、スマートフォンなどの情報処理装置である。クライアント装置10a〜10cは、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。クライアント装置10a〜10cの各々は、コンピュータプロセッサ、メモリ、通信I/F、ディスプレイ、ジャイロセンサ等の各種センサを備えるセンサユニット、マイク等の集音装置、及び各種情報を記憶するストレージを備えていてもよい。 The client devices 10a to 10c are information processing devices such as smartphones. In addition to the smartphone, the client devices 10a to 10c may be a mobile phone, a tablet terminal, a personal computer, an electronic book reader, a wearable computer, a game console, and various information processing devices capable of reproducing moving images other than these. Each of the client devices 10a to 10c includes a computer processor, a memory, a communication I / F, a display, a sensor unit including various sensors such as a gyro sensor, a sound collecting device such as a microphone, and a storage for storing various information. May be good.

クライアント装置10a〜10cのディスプレイは、表示パネルと、タッチパネルと、を有する。タッチパネルは、プレイヤのタッチ操作(接触操作)を検出することができるように構成されている。タッチパネルは、プレイヤのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、プレイヤの非接触操作を検出可能に構成されてもよい。 The display of the client devices 10a to 10c includes a display panel and a touch panel. The touch panel is configured to be able to detect a player's touch operation (contact operation). The touch panel can detect various touch operations such as tapping, double tapping, and dragging of the player. The touch panel may include a capacitive proximity sensor and may be configured to be capable of detecting a player's non-contact operation.

視聴ユーザは、クライアント装置10a〜10cのタッチパネルを介して、配信された動画に関するメッセージ又はそれ以外のメッセージを入力することができる。このメッセージは、例えば、テキスト形式のメッセージ、静止画形式のメッセージ、動画形式のメッセージ、音声のメッセージ及びこれら以外の任意の形式の電子的なメッセージであってもよい。クライアント装置10a〜10cの各々は、視聴ユーザによって入力されたメッセージをサーバ装置20に投稿(送信)するように構成され得る。 The viewing user can input a message related to the delivered moving image or other messages via the touch panel of the client devices 10a to 10c. This message may be, for example, a text format message, a still image format message, a moving image format message, a voice message, or an electronic message in any other format. Each of the client devices 10a to 10c may be configured to post (send) a message input by the viewing user to the server device 20.

図示の実施形態において、サーバ装置20は、コンピュータプロセッサ21と、通信I/F22と、ストレージ23と、を備えている。 In the illustrated embodiment, the server device 20 includes a computer processor 21, a communication I / F 22, and a storage 23.

コンピュータプロセッサ21は、ストレージ23又はそれ以外のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ21は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ21は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図2においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ21は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。本明細書において、コンピュータプロセッサ21によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ21によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより実行されてもよい。コンピュータプロセッサ21により実現される機能は後述する。 The computer processor 21 is an arithmetic unit that loads various programs that realize an operating system and various functions from the storage 23 or other storage into a memory and executes instructions included in the loaded programs. The computer processor 21 is, for example, a CPU, an MPU, a DSP, a GPU, various arithmetic units other than these, or a combination thereof. The computer processor 21 may be realized by an integrated circuit such as an ASIC, PLD, FPGA, or MCU. Although the computer processor 21 is illustrated as a single component in FIG. 2, the computer processor 21 may be a collection of a plurality of physically separate computer processors. In the present specification, the program described as being executed by the computer processor 21 or the instructions contained in the program may be executed by a single computer processor or may be executed by a plurality of computer processors in a distributed manner. May be good. Further, the program executed by the computer processor 21 or the instructions included in the program may be executed by a plurality of virtual computer processors. The functions realized by the computer processor 21 will be described later.

通信I/F22は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置20は、通信I/F22を介して、他の装置とデータを送受信することができる。 The communication I / F 22 is implemented as hardware, firmware, communication software such as a TCP / IP driver or PPP driver, or a combination thereof. The server device 20 can send and receive data to and from other devices via the communication I / F 22.

ストレージ23は、コンピュータプロセッサ21によりアクセスされる記憶装置である。ストレージ23は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ23には、様々なプログラムが記憶され得る。ストレージ23に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置20とは物理的に別体のストレージ(例えば、ストレージ25)に格納されてもよい。ストレージ23に格納されるデータの詳細については後述する。 The storage 23 is a storage device accessed by the computer processor 21. The storage 23 is, for example, a magnetic disk, an optical disk, a semiconductor memory, or various storage devices other than those capable of storing data. Various programs can be stored in the storage 23. At least a part of the program and various data that can be stored in the storage 23 may be stored in a storage (for example, a storage 25) that is physically separate from the server device 20. Details of the data stored in the storage 23 will be described later.

スタジオユニット30の構成要素の多くは、例えば、図3に示されているスタジオルームRに配置されている。図示のように、スタジオルームRにおいては、アクターA1がパフォーマンスを行っている。スタジオユニット30は、アクターA1の動き及び表情を検出し、検出した情報をサーバ装置20に出力するように構成されている。 Many of the components of the studio unit 30 are located, for example, in the studio room R shown in FIG. As shown in the figure, actor A1 is performing in studio room R. The studio unit 30 is configured to detect the movement and facial expression of the actor A1 and output the detected information to the server device 20.

アクターA1は、スタジオユニット30に備えられる後述のセンサ群によって動きや表情がキャプチャされる対象である。図示の実施形態において、アクターA1は、トーク、パフォーマンス、及びこれら以外の動画として配信される番組を進行するための行動を行う人間である。アクターA1は、人間以外に、動物またはこれ以外の運動する任意の物体(非生物)であってもよい。アクターA1は、例えば、自立運動可能なロボットであってもよい。スタジオルームR内のアクターの数は、1であってもよいし、3以上であってもよい。 The actor A1 is a target whose movement and facial expression are captured by a group of sensors described later provided in the studio unit 30. In the illustrated embodiment, the actor A1 is a person who takes actions to advance a talk, a performance, and a program distributed as a moving image other than these. In addition to humans, actor A1 may be an animal or any other moving object (abiotic). The actor A1 may be, for example, a robot capable of independent movement. The number of actors in the studio room R may be 1 or 3 or more.

スタジオユニット30は、アクターA1に装着される6つのモーションセンサ31a〜31fと、アクターA1の左手に把持されているコントローラ33aと、アクターA1の右手に把持されているコントローラ33bと、装着具37bを介してアクターA1の頭部に取り付けられるカメラ37aと、アクターA1の左腕に装着されている腕時計型のアクターデバイス91と、を有する。装着具37bには、音声データを取得するためのマイクが取り付けられてもよい。このマイクは、アクターA1の発話を音声データとして取得することができる。マイクは、装着具37bを介してアクターA1に装着される装着型のマイクであってもよく、スタジオルームRの床、壁、又は天井に設置される設置型のものであってもよい。スタジオユニット30は、上記の構成要素に加えて、ベースステーション35aと、ベースステーション35bと、デジタルカメラ36aと、ディスプレイ39と、を有する。スタジオルームRとガラス窓を隔てた隣室には、サポーターコンピュータ40が設置されている。サーバ装置20は、サポーターコンピュータ40が設置されている部屋と同じ部屋に設置されてもよい。 The studio unit 30 includes six motion sensors 31a to 31f mounted on the actor A1, a controller 33a held by the left hand of the actor A1, a controller 33b held by the right hand of the actor A1, and a fitting 37b. It has a camera 37a attached to the head of the actor A1 via a wristwatch-type actor device 91 attached to the left arm of the actor A1. A microphone for acquiring voice data may be attached to the fitting 37b. This microphone can acquire the utterance of the actor A1 as voice data. The microphone may be a wearable microphone mounted on the actor A1 via the mounting tool 37b, or may be a mounting type microphone installed on the floor, wall, or ceiling of the studio room R. In addition to the above components, the studio unit 30 includes a base station 35a, a base station 35b, a digital camera 36a, and a display 39. A supporter computer 40 is installed in the adjacent room separated from the studio room R by a glass window. The server device 20 may be installed in the same room where the supporter computer 40 is installed.

モーションセンサ31a〜31fは、ベースステーション35a及びベースステーション35bと協働して、自らの位置及び向きを検出する。一実施形態において、ベースステーション35a及びベースステーション35bは、多軸レーザーエミッターである。ベースステーション35aは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション35bは、例えば水平軸の周りでレーザー光を走査する。モーションセンサ31a〜31fはそれぞれ、ベースステーション35a及びベースステーション35bからの点滅光及びレーザー光の入射を検知する光センサを複数備えてもよい。モーションセンサ31a〜31fはそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光センサが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報に基づいて、自らの位置及び向きを検出してもよい。モーションセンサ31a〜31fは、例えば、HTC CORPORATIONから提供されているVive Trackerであってもよい。ベースステーション35a及びベースステーション35bは、例えば、HTC CORPORATIONから提供されているベースステーションであってもよい。 The motion sensors 31a to 31f cooperate with the base station 35a and the base station 35b to detect their own positions and orientations. In one embodiment, the base station 35a and the base station 35b are multi-axis laser emitters. After emitting the flashing light for synchronization, the base station 35a scans the laser light, for example, around the vertical axis. The base station 35b scans the laser beam, for example, around a horizontal axis. The motion sensors 31a to 31f may each include a plurality of optical sensors that detect the incident of blinking light and laser light from the base station 35a and the base station 35b, respectively. The motion sensors 31a to 31f have a time difference between the incident timing of the blinking light and the incident timing of the laser light, the light receiving time of each optical sensor, the incident angle of the laser light detected by each optical sensor, and other than these if necessary. You may detect your own position and orientation based on the information of. The motion sensors 31a to 31f may be, for example, the Vive Tracker provided by HTC CORPORATION. The base station 35a and the base station 35b may be, for example, a base station provided by HTC CORPORATION.

モーションセンサ31a〜31fの各々において算出された各モーションセンサの位置及び向きを示す検出情報は、サーバ装置20に送信される。この検出情報は、モーションセンサ31a〜31fの各々からサーバ装置20に無線送信されてもよい。ベースステーション35a及びベースステーション35bは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各モーションセンサの検出情報は、当該インターバルごとに更新される。なお、ベースステーションは、3つ以上の複数であってもよい。ベースステーションの位置は適宜変更してもよい。例えば、図3に示されているトラッキングセンサの検出対象の空間の上方の隅部に配されているベースステーションに加えて若しくは替えて、上方位置及び床面に近い下方位置に対をなすように配置されたベースステーションが設けられてもよい。例えば、ベースステーションは4つであってもよい。 The detection information indicating the position and orientation of each motion sensor calculated by each of the motion sensors 31a to 31f is transmitted to the server device 20. This detection information may be wirelessly transmitted from each of the motion sensors 31a to 31f to the server device 20. Since the base station 35a and the base station 35b emit flashing light and scan the laser light at regular intervals, the detection information of each motion sensor is updated at each interval. The number of base stations may be three or more. The position of the base station may be changed as appropriate. For example, in addition to or in place of the base station located in the upper corner of the space to be detected by the tracking sensor shown in FIG. An arranged base station may be provided. For example, there may be four base stations.

図示の実施形態において、アクターA1は、6つのモーションセンサ31a〜31fを装着している。モーションセンサ31a,31b,31c,31d,31e,及び31fはそれぞれ、アクターA1の左手甲、右手甲、左足甲、右足甲、腰、及び頭頂に装着されている。モーションセンサ31a〜31fは、装着具を介してアクターA1に装着されてもよい。図2に示されているモーションセンサ31a〜31fは例示である。モーションセンサ31a〜31fは、アクターA1の様々な部位に装着され得る。アクターA1に装着されるモーションセンサの数は5以下であってもよいし7以上であってもよい。このように、アクターA1の体の各部に装着されたモーションセンサ31a〜31fの位置及び向きを検出することにより、アクターA1の体の動きを検出することができる。アクターA1の体の動きは、光学モーションキャプチャシステムにより検出されてもよい。 In the illustrated embodiment, the actor A1 is equipped with six motion sensors 31a to 31f. The motion sensors 31a, 31b, 31c, 31d, 31e, and 31f are attached to the left back, right back, left foot, right back, hip, and top of the head of the actor A1, respectively. The motion sensors 31a to 31f may be attached to the actor A1 via an attachment. The motion sensors 31a to 31f shown in FIG. 2 are examples. The motion sensors 31a to 31f can be attached to various parts of the actor A1. The number of motion sensors mounted on the actor A1 may be 5 or less, or 7 or more. In this way, by detecting the positions and orientations of the motion sensors 31a to 31f attached to each part of the body of the actor A1, the movement of the body of the actor A1 can be detected. The body movement of actor A1 may be detected by an optical motion capture system.

一実施形態においては、アクターA1に装着される複数のモーションセンサの各々に多数の赤外LEDを搭載し、この赤外LEDからの光を、スタジオルームRの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの各々の位置及び向きを検出してもよい。赤外LEDに代えて可視光LEDを使用し、この可視光LEDからの光を可視光カメラで検出することで、当該モーションセンサの各々の位置及び向きを検出してもよい。このように、アクターに装着される複数のモーションセンサの各々に発光部(例えば、赤外LEDや可視光LED)を設け、この発光部からの光をスタジオルームR内に設けられた受光部(例えば、赤外線カメラや可視光カメラ)で検出することで、当該モーションセンサの各々の位置及び向きを検出してもよい。 In one embodiment, a large number of infrared LEDs are mounted on each of the plurality of motion sensors mounted on the actor A1, and the light from the infrared LEDs is emitted by an infrared camera provided on the floor or wall of the studio room R. By detecting, the position and orientation of each of the motion sensors may be detected. A visible light LED may be used instead of the infrared LED, and the position and orientation of each of the motion sensors may be detected by detecting the light from the visible light LED with a visible light camera. In this way, each of the plurality of motion sensors mounted on the actor is provided with a light emitting unit (for example, an infrared LED or a visible light LED), and the light from the light emitting unit is provided in the studio room R as a light receiving unit (for example). For example, the position and orientation of each of the motion sensors may be detected by detecting with an infrared camera or a visible light camera).

一実施形態においては、モーションセンサ31a〜31fに代えて、複数の反射マーカーを用いることができる。反射マーカーは、アクターA1の各々に粘着テープなどにより貼付される。このように反射マーカーが貼付されたアクターA1を撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置及び向きを検出することができる。一実施形態において、アクターA1に体の動きの検出は、慣性センサが内蔵されたスーツを用いて行われてもよい。アクターA1に着用された慣性センサ内蔵スーツの慣性センサから出力されるセンサ信号を解析することにより、アクターA1の動きを検出することができる。慣性センサが内蔵されたスーツとして、Xsens.com社が開発するMVNと呼ばれるモーションキャプチャシステムに対応した慣性センサ内蔵スーツを用いることができる。 In one embodiment, a plurality of reflection markers can be used instead of the motion sensors 31a to 31f. The reflective marker is attached to each of the actors A1 with an adhesive tape or the like. The position and orientation of the reflection marker can be detected by photographing the actor A1 to which the reflection marker is attached, generating shooting data, and performing image processing on the shooting data. In one embodiment, the detection of body movement in the actor A1 may be performed using a suit with a built-in inertial sensor. The movement of the actor A1 can be detected by analyzing the sensor signal output from the inertial sensor of the suit with the built-in inertia sensor worn on the actor A1. As a suit with a built-in inertia sensor, a suit with a built-in inertia sensor compatible with a motion capture system called MVN developed by Xsens.com can be used.

コントローラ33a及びコントローラ33bは、アクターA1の操作に応じたコントロール信号をサーバ装置20に出力する。 The controller 33a and the controller 33b output a control signal corresponding to the operation of the actor A1 to the server device 20.

デジタルカメラ36aは、アクターA1を撮像して撮像データを生成する。デジタルカメラ36aの位置、撮像方向、及び画角は、操作者の操作に応じて設定される。デジタルカメラ36aは、その位置、撮像方向、及び画角を示す撮像設定情報をサーバ装置20に送信する。同様に、デジタルカメラ36bの位置、撮像方向、及び画角は、操作者の操作に応じて設定される。図示の実施形態において、デジタルカメラ36aは、アクターA1の左前方に設けられている。 The digital camera 36a captures the actor A1 and generates imaging data. The position, imaging direction, and angle of view of the digital camera 36a are set according to the operation of the operator. The digital camera 36a transmits image setting information indicating its position, image pickup direction, and angle of view to the server device 20. Similarly, the position, imaging direction, and angle of view of the digital camera 36b are set according to the operation of the operator. In the illustrated embodiment, the digital camera 36a is provided on the left front side of the actor A1.

カメラ37aは、上記のように、アクターA1の頭部に取り付けられている。例えば、カメラ37aは、アクターA1の顔を撮像できるように配置されている。カメラ37aは、アクターA1の顔を連続的に撮像し、アクターA1の顔の撮像データを取得する。カメラ37aは、アクターA1の顔の撮像データをサーバ装置20に送信する。カメラ37aは、人物の顔の奥行きを検出可能な3Dカメラであってもよい。カメラ37aは、例えば、Apple Incが提供するiPhone Xに備えられたLIDARデバイスであってもよい。iPhone Xは、例えば、アクターA1の頭部に装着されたヘッドギアに取り付けられる。カメラ37aは、アクターA1に装着されるのではなく、スタジオルームR内に設置されたカメラスタンドに設置される固定型のものであってもよい。 The camera 37a is attached to the head of the actor A1 as described above. For example, the camera 37a is arranged so that the face of the actor A1 can be imaged. The camera 37a continuously images the face of the actor A1 and acquires the image data of the face of the actor A1. The camera 37a transmits the image capture data of the face of the actor A1 to the server device 20. The camera 37a may be a 3D camera capable of detecting the depth of a person's face. The camera 37a may be, for example, a lidar device provided on the iPhone X provided by Apple Inc. The iPhone X is attached to, for example, a headgear mounted on the head of the actor A1. The camera 37a may be a fixed type mounted on a camera stand installed in the studio room R instead of being mounted on the actor A1.

ディスプレイ39は、サポーターコンピュータ40から受信した情報を表示するように構成される。サポーターコンピュータ40からディスプレイ39に送信される情報は、例えば、テキスト情報、画像情報、及びこれら以外の各種情報を含み得る。ディスプレイ39は、アクターA1によって視認可能な位置に配置される。 The display 39 is configured to display information received from the supporter computer 40. The information transmitted from the supporter computer 40 to the display 39 may include, for example, text information, image information, and various other information. The display 39 is arranged at a position visible to the actor A1.

アクターデバイス91は、サーバ装置20からの駆動信号に応じて、アクターA1が知覚可能な音以外の刺激を発生させるように構成される。アクターデバイス91が音を発生させると、配信コンテンツに当該音が合成されてしまうおそれがあるため、アクターデバイス91は、音以外の刺激を発生させるように構成される。アクターデバイス91は、聴覚刺激(典型的には、音)以外の刺激、例えば、触覚刺激、視覚刺激、又はこれら以外の聴覚刺激とは異なるアクターA1によって知覚可能な刺激を発生させることができる。アクターデバイス91は、アクチュエータ91aを備えてもよい。アクチュエータ91aは、サーバ装置20からの駆動信号により作動するように構成される。アクチュエータ91aは、駆動信号が入力されると振動するように構成されてもよい。アクターデバイス91として、例えば、Apple Incから提供されているApple Watchが用いられ得る。アクターデバイス91は、腕時計型以外の様々な形状をとり得る。アクターA1は、互いに同じ種類の又は互いと異なる種類の複数のアクターデバイス91を装着することができる。アクターデバイス91は、サーバ装置20以外からの駆動信号に応じて作動するように構成されてもよい。複数のアクターデバイス91は、アクターA1を識別するアクターIDと対応付けられていてもよい。アクターデバイス91は、アクチュエータ91aを介して触覚刺激をアクターA1に伝達することができる。アクターデバイス91は、LED(Light Emitting Diode)や知覚ディスプレイデバイスであってもよい。LEDや知覚ディスプレイデバイスは、視覚刺激を発生することができる。知覚ディスプレイデバイスは、電極から流れる電流によって皮膚下の神経軸索を駆動する電気触覚ディスプレイであってもよい。 The actor device 91 is configured to generate a stimulus other than a perceptible sound by the actor A1 in response to a drive signal from the server device 20. When the actor device 91 generates a sound, the sound may be synthesized with the distributed content. Therefore, the actor device 91 is configured to generate a stimulus other than the sound. The actor device 91 can generate a stimulus other than the auditory stimulus (typically sound), for example, a tactile stimulus, a visual stimulus, or a stimulus perceptible by the actor A1 different from the other auditory stimuli. The actor device 91 may include an actuator 91a. The actuator 91a is configured to operate by a drive signal from the server device 20. The actuator 91a may be configured to vibrate when a drive signal is input. As the actor device 91, for example, Apple Watch provided by Apple Inc. can be used. The actor device 91 can take various shapes other than the wristwatch type. The actor A1 can be equipped with a plurality of actor devices 91 of the same type or different types from each other. The actor device 91 may be configured to operate in response to a drive signal from other than the server device 20. The plurality of actor devices 91 may be associated with an actor ID that identifies the actor A1. The actor device 91 can transmit a tactile stimulus to the actor A1 via the actuator 91a. The actor device 91 may be an LED (Light Emitting Diode) or a perceptual display device. LEDs and perceptual display devices can generate visual stimuli. The perceptual display device may be an electrical tactile display that drives the nerve axons under the skin with an electric current flowing from the electrodes.

図示の実施形態において、サポーターコンピュータ40は、スタジオルームRの隣室に設置されている。サポーターコンピュータ40が設置されている部屋とスタジオルームRとはガラス窓によって隔てられているため、サポーターコンピュータ40のオペレータ(本明細書では「サポーター」ということがある。)は、アクターA1を視認できる。図示の実施形態においては、サポーターコンピュータ40のオペレータとして、サポーターB1及びサポーターB2が在室している。 In the illustrated embodiment, the supporter computer 40 is installed in a room adjacent to the studio room R. Since the room in which the supporter computer 40 is installed and the studio room R are separated by a glass window, the operator of the supporter computer 40 (sometimes referred to as "supporter" in the present specification) can visually recognize the actor A1. .. In the illustrated embodiment, supporter B1 and supporter B2 are present as operators of the supporter computer 40.

サポーターコンピュータ40は、サポーターB1及びサポーターB2の操作に応じて、スタジオユニット30の構成要素の設定を変更することができるように構成されてもよい。サポーターコンピュータ40は、例えば、ベースステーション35a及びベースステーション35bによる走査インターバルの設定、デジタルカメラ36a及びトラッキングセンサ36bの位置または向きの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。後述するアクティブセンサの切り替えは、サポーターB1及びサポーターB2によるサポーターコンピュータ40の操作に基づいて実行され得る。サポーターB1及びサポーターB2の少なくとも一方は、サポーターコンピュータ40にメッセージを入力し、当該入力されたメッセージをディスプレイ39に表示することができる。 The supporter computer 40 may be configured so that the settings of the components of the studio unit 30 can be changed according to the operations of the supporter B1 and the supporter B2. The supporter computer 40 can, for example, set the scanning interval by the base station 35a and the base station 35b, set the position or orientation of the digital camera 36a and the tracking sensor 36b, and change various settings of various other devices. .. The switching of the active sensor, which will be described later, can be executed based on the operation of the supporter computer 40 by the supporter B1 and the supporter B2. At least one of the supporter B1 and the supporter B2 can input a message to the supporter computer 40 and display the input message on the display 39.

図3に示されているスタジオユニット30の構成要素及び機能は例示である。本発明に適用可能なスタジオユニット30は、図示されていない様々な構成要素を備え得る。スタジオユニット30は、プロジェクタを備えていてもよい。当該プロジェクタは、クライアント装置10aまたはそれ以外のクライアント装置に配信される動画をスクリーンSに投影することができる。 The components and functions of the studio unit 30 shown in FIG. 3 are exemplary. The studio unit 30 applicable to the present invention may include various components (not shown). The studio unit 30 may include a projector. The projector can project a moving image delivered to the client device 10a or other client devices onto the screen S.

他方、配信される動画を生成するための撮影は、より簡易な設備によって実行されてもよい。例えば、スマートフォンなどの情報処理端末によりアクターの顔の動きのデジタル表現であるフェイスモーションデータを生成し、当該フェイスモーションデータに基づいて、アクターの表情の動きに同期してその表情が動くがボディは動かないキャラクタオブジェクトのアニメーションを生成してもよい。このようなフェイスモーションデータの生成は、クライアント装置10a〜クライアント装置10cにより行われてもよい。フェイスモーションデータの生成を行うために、クライアント装置10a〜クライアント装置10cに、フェイスモーションデータを生成するための機能を実現する命令セットを有するアプリケーションソフトウェアをダウンロード及びインストールしてもよい。このようなフェイスモーションデータの生成を行う機能を有するアプリケーションソフトウェアを「配信アプリケーションソフトウェア」又は「配信アプリ」と呼ぶことがある。配信アプリと既述の視聴アプリとは別個のアプリケーションソフトウェアであってもよいし、単一のアプリケーションソフトウェアが配信アプリの機能及び記述の視聴アプリの機能を両方とも備えてもよい。このフェイスモーションデータは、アクターの頭部の姿勢のトラッキングデータ、当該アクターの顔の特徴点のデジタル表現であるフィーチャーポイント、及びその変形率を表現したブレンドフェイスデータを含むことができる。スマートフォンなどの情報処理端末は、フェイスモーションデータに基づいて、アクターの表情を誇張して示す画像を作成し、当該画像をキャラクタオブジェクトの顔に重畳表示してもよい。フェイスモーションデータに基づいてキャラクタオブジェクトのアニメーションを生成する場合、アクターの体の動きを検出するためのモーションセンサ31a,31b,31c,31d,31e,及び31f、ベースステーション35a,35b、及びデジタルカメラ36aが不要となるため、より簡易な設備でキャラクタオブジェクトのアニメーションを生成することができる。モーションセンサ31a,31b,31c,31d,31e,及び31f、ベースステーション35a,35b、及びデジタルカメラ36aが不要であれば、スタジオルームR以外の場所、例えばアクターの自宅でもキャラクタオブジェクトの生成を行うことができるので利便性が高まる。 On the other hand, the shooting for generating the delivered moving image may be performed by a simpler facility. For example, an information processing terminal such as a smartphone generates face motion data, which is a digital representation of an actor's facial movement, and based on the face motion data, the facial expression moves in synchronization with the movement of the actor's facial expression, but the body You may generate an animation of a character object that does not move. Such face motion data generation may be performed by the client device 10a to the client device 10c. In order to generate face motion data, application software having an instruction set that realizes a function for generating face motion data may be downloaded and installed in the client devices 10a to 10c. Application software having a function of generating such face motion data may be referred to as "distribution application software" or "distribution application". The distribution application and the above-mentioned viewing application may be separate application software, or a single application software may have both the function of the distribution application and the function of the described viewing application. The face motion data can include tracking data of the posture of the head of the actor, feature points which are digital representations of the feature points of the face of the actor, and blended face data expressing the deformation rate thereof. An information processing terminal such as a smartphone may create an image that exaggerates the facial expression of the actor based on the face motion data, and superimpose the image on the face of the character object. When generating an animation of a character object based on face motion data, motion sensors 31a, 31b, 31c, 31d, 31e, and 31f, base stations 35a, 35b, and digital camera 36a for detecting the movement of the actor's body. Is not required, so it is possible to generate an animation of a character object with simpler equipment. If the motion sensors 31a, 31b, 31c, 31d, 31e, and 31f, the base stations 35a, 35b, and the digital camera 36a are unnecessary, the character object can be generated at a place other than the studio room R, for example, at the actor's home. Because it can be done, convenience is improved.

次に、一態様において、ストレージ23に記憶される情報について説明する。図示の実施形態においては、ストレージ23には、モデルデータ23a、オブジェクトデータ23b、ユーザデータ23c、アバタデータ23d、及び前記以外の配信動画の生成及び配信に必要な様々な情報が記憶される。 Next, in one aspect, the information stored in the storage 23 will be described. In the illustrated embodiment, the storage 23 stores model data 23a, object data 23b, user data 23c, avatar data 23d, and various information necessary for generation and distribution of distribution moving images other than the above.

モデルデータ23aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ23aは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータ23aは、例えば、キャラクタの骨格を示すリグデータ(「スケルトンデータ」と呼ばれることもある。)と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ23aには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。 The model data 23a is model data for generating a character animation. The model data 23a may be three-dimensional model data for generating a three-dimensional animation, or may be two-dimensional model data for generating two-dimensional model data. The model data 23a includes, for example, rig data indicating the skeleton of the character (sometimes referred to as “skeleton data”) and surface data indicating the shape and texture of the surface of the character. The model data 23a can include a plurality of model data different from each other. The plurality of model data may have different rig data from each other, or may have the same rig data. The plurality of model data may have different surface data from each other, or may have the same surface data.

オブジェクトデータ23bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ23bは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ23bには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。 The object data 23b includes asset data for constructing a virtual space constituting a moving image. The object data 23b is data for drawing the background of the virtual space constituting the moving image, data for drawing various objects displayed in the moving image, and various objects displayed in the moving image other than these. Contains data. The object data 23b may include object position information indicating the position of the object in the virtual space.

オブジェクトデータ23bには、上記以外にも、クライアント装置10a〜10cの視聴ユーザからの表示要求に基づいて動画に表示されるギフトオブジェクトが含まれ得る。ギフトオブジェクトには、エフェクトオブジェクトと、通常オブジェクトと、装飾オブジェクトと、が含まれ得る。視聴ユーザは、所望のギフトオブジェクトを購入することができる。 In addition to the above, the object data 23b may include a gift object to be displayed in the moving image based on a display request from the viewing user of the client devices 10a to 10c. Gift objects can include effect objects, regular objects, and decoration objects. The viewing user can purchase the desired gift object.

エフェクトオブジェクトは、配信動画の視聴画面全体の印象に影響を与えるオブジェクトであり、例えば紙吹雪を模したオブジェクトである。紙吹雪を模したオブジェクトは、視聴画面全体に表示されてもよく、これにより表示の前後における視聴画面全体の印象を変えることができる。エフェクトオブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。 The effect object is an object that affects the impression of the entire viewing screen of the distributed moving image, and is, for example, an object that imitates confetti. The object imitating confetti may be displayed on the entire viewing screen, whereby the impression of the entire viewing screen before and after the display can be changed. Effect objects may appear to overlap with character objects, but differ from decorative objects in that they are not displayed in association with a particular part of the character object.

通常オブジェクトは、視聴ユーザからアクター(例えば、アクターA1)又は動画内のキャラクタへのデジタル的なギフトとなるオブジェクトであり、例えばぬいぐるみや花束を模したオブジェクトである。一態様において、通常オブジェクトは、キャラクタオブジェクトと接しないように動画の画面に表示される。一態様において、通常オブジェクトは、キャラクタオブジェクトと重複しないように動画の画面に表示される。通常オブジェクトは、仮想空間においてキャラクタオブジェクト以外のオブジェクトと重複するように表示されてもよい。通常オブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。一態様において、通常オブジェクトをキャラクタオブジェクトと重複して表示させる場合には、当該通常オブジェクトは、当該キャラクタオブジェクトの顔を含む頭部以外の部分と重複し、当該キャラクタオブジェクトの頭部とは重複しないように表示される。 A normal object is an object that becomes a digital gift from a viewing user to an actor (for example, actor A1) or a character in a moving image, for example, an object that imitates a stuffed animal or a bouquet. In one aspect, the normal object is displayed on the screen of the moving image so as not to come into contact with the character object. In one aspect, the normal object is displayed on the screen of the moving image so as not to overlap with the character object. Ordinary objects may appear to overlap objects other than character objects in virtual space. Ordinary objects may appear to overlap with character objects, but differ from decorative objects in that they are not displayed in association with a particular part of the character object. In one aspect, when the normal object is displayed overlapping with the character object, the normal object overlaps with a part other than the head including the face of the character object and does not overlap with the head of the character object. Is displayed.

装飾オブジェクトは、キャラクタオブジェクトの特定の部位と関連付けて画面に表示されるオブジェクトである。一態様において、キャラクタオブジェクトの特定の部位と関連付けて画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位に接するように画面に表示される。一態様において、キャラクタオブジェクトの特定の部位と関連付けて画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位の一部又は全部を覆うように画面に表示される。 A decoration object is an object that is displayed on the screen in association with a specific part of the character object. In one aspect, the decorative object displayed on the screen in association with a specific part of the character object is displayed on the screen so as to be in contact with the specific part of the character object. In one aspect, the decorative object displayed on the screen in association with a particular part of the character object is displayed on the screen so as to cover part or all of the particular part of the character object.

装飾オブジェクトは、例えば、キャラクタオブジェクトに装着されるアクセサリ(カチューシャ、ネックレス、イヤリングなど)、衣服(Tシャツなど)、コスチューム、及びこれら以外のキャラクラオブジェクトが装着可能なオブジェクトである。装飾オブジェクトに対応するオブジェクトデータ23bには、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着位置情報が含まれてもよい。ある装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に装着されるかを示すことができる。例えば、装飾オブジェクトがカチューシャである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「頭部」に装着されることを示してもよい。装飾オブジェクトがTシャツである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「胴部」に装着されることを示してもよい。 The decorative object is, for example, an object that can be attached to accessories (alice band, necklace, earrings, etc.), clothes (T-shirt, etc.), costumes, and other character objects attached to the character object. The object data 23b corresponding to the decoration object may include mounting position information indicating which part of the character object the decoration object is associated with. The mounting position information of a certain decorative object can indicate to which part of the character object the decorative object is mounted. For example, when the decoration object is a Katyusha, the mounting position information of the decoration object may indicate that the decoration object is mounted on the "head" of the character object. When the decorative object is a T-shirt, the mounting position information of the decorative object may indicate that the decorative object is mounted on the "body" of the character object.

ギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよい。一態様において、装飾オブジェクトの表示時間は、エフェクトオブジェクトの表示時間及び通常オブジェクトの表示時間よりも長く設定されていてもよい。例えば、装飾オブジェクトの表示時間は60秒間に設定され、エフェクトオブジェクトの表示時間は5秒間に設定され、通常オブジェクトの表示時間は10秒間に設定されてもよい。 A display time may be set for each of the gift objects according to the type of the gift object. In one aspect, the display time of the decorative object may be set longer than the display time of the effect object and the display time of the normal object. For example, the display time of the decorative object may be set to 60 seconds, the display time of the effect object may be set to 5 seconds, and the display time of the normal object may be set to 10 seconds.

オブジェクトデータ23bには、動画配信システム1のユーザが保有しているギフトオブジェクトを示すリストが含まれてもよい。保有リストにおいては、ユーザのアカウント情報と対応づけて、当該視聴ユーザが保有するギフトオブジェクトを特定するオブジェクトIDが記憶されてもよい。ユーザのアカウント情報は、例えば、ユーザを識別するユーザIDである。このユーザには、例えば、クライアント装置10a〜クライアント装置10cの第1視聴ユーザ〜第3視聴ユーザが含まれてもよい。 The object data 23b may include a list showing gift objects owned by the user of the video distribution system 1. In the possession list, an object ID that identifies the gift object possessed by the viewing user may be stored in association with the user's account information. The user's account information is, for example, a user ID that identifies the user. This user may include, for example, first viewing users to third viewing users of the client devices 10a to 10c.

図4に示すように、ユーザデータ23cは、動画配信システム1の各ユーザ(例えば、視聴ユーザ)のアカウント情報と、各ユーザが利用するアバタに関するアバタ情報と、を含むことができる。言い換えると、ストレージ23には、動画配信システム1の各ユーザのアカウント情報と対応付けて、各ユーザが利用するアバタに関するアバタ情報、及びこれら以外のユーザに関する情報が記憶され得る。あるユーザのアカウント情報は、例えば、当該ユーザを識別するユーザIDである。ユーザのユーザIDは、当該ユーザがクライアント装置10a〜クライアント装置10cを利用してサーバ装置20から提供される動画サービスへの利用登録を行うときに発行されてもよい。視聴アプリを利用してサーバ装置20のサービスを利用する場合と配信アプリを利用してサーバ装置20のサービスを利用する場合とで共通のユーザIDが用いられてもよいし、視聴アプリを利用してサーバ装置20のサービスを利用する場合と配信アプリを利用してサーバ装置20のサービスを利用する場合とで別個のユーザIDが用いられてもよい。視聴アプリを利用してサーバ装置20のサービスを利用する場合と配信アプリを利用してサーバ装置20のサービスを利用する場合とで別個のユーザIDが用いられる場合には、同一のユーザの視聴アプリを利用するためのユーザID(視聴用ユーザID)と配信アプリを利用するためのユーザID(配信用ユーザID)とは互いに対応付けられて記憶されてもよい。視聴アプリを利用して受けることができるサーバ装置20のサービスは、例えば、サーバ装置20から配信される動画の視聴サービスである。配信アプリを利用して受けることができるサーバ装置20のサービスは、例えば、自らのキャラクタオブジェクトを含む動画の配信を行うサービスである。 As shown in FIG. 4, the user data 23c can include account information of each user (for example, a viewing user) of the video distribution system 1 and avatar information regarding the avatar used by each user. In other words, the storage 23 can store avatar information about the avatar used by each user and information about other users in association with the account information of each user of the video distribution system 1. The account information of a user is, for example, a user ID that identifies the user. The user ID of the user may be issued when the user registers the use of the moving image service provided by the server device 20 by using the client device 10a to the client device 10c. A common user ID may be used when using the service of the server device 20 by using the viewing application and when using the service of the server device 20 by using the distribution application, or by using the viewing application. A different user ID may be used depending on whether the service of the server device 20 is used or the service of the server device 20 is used by using the distribution application. When different user IDs are used when using the service of the server device 20 using the viewing application and when using the service of the server device 20 using the distribution application, the viewing application of the same user The user ID for using the service (viewing user ID) and the user ID for using the distribution application (distribution user ID) may be stored in association with each other. The service of the server device 20 that can be received by using the viewing application is, for example, a video viewing service distributed from the server device 20. The service of the server device 20 that can be received by using the distribution application is, for example, a service that distributes a moving image including its own character object.

あるユーザのアバタ情報は、例えば、当該ユーザが動画配信システム1内で利用するアバタを識別するアバタIDである。アバタIDは、ユーザがアバタの登録を行うことにより当該ユーザに割り当てられる。アバタの登録は、アバタを構成する頭部、ヘアスタイル、服、アクセサリ、及びこれら以外のパーツをユーザが選択することにより行われる。アバタの登録は、配信アプリがインストールされたクライアント装置10a〜10cによって行われてもよい。つまり、アバタの登録は、配信アプリの機能を実行することにより行われてもよい。一実施形態においては、アバタの登録は、クライアント装置10a〜クライアント装置10cのうち配信アプリがインストールされたクライアント装置によって行われ、配信アプリがインストールされていないクライアント装置からは実行できなくてもよい。アバタの登録は、配信アプリケーションとは別のアバタを作成、編集、及び/又は登録する機能を有するアプリケーションソフトウェア(以下、「アバタ作成アプリ」と呼ぶことがある。)によって行われてもよい。配信アプリ及び/又はアバタ作成アプリによってアバタの登録を行う場合にも、図3を参照して説明したように、当該アバタを識別するアバタIDを割り当て、当該アバタIDをユーザのユーザIDと対応付けてユーザ情報として管理してもよい。ユーザは、アバタを登録した後に、当該アバタを変更することができる。例えば、アバタの登録後に、当該アバタのパーツの一部又は全部を変更することができる。例えば、登録後であっても、アバタのヘアスタイル、所持アイテム、及びこれら以外のアバタを構成するパーツを変更することができる。 The avatar information of a certain user is, for example, an avatar ID that identifies the avatar that the user uses in the video distribution system 1. The avatar ID is assigned to the user when the user registers the avatar. The registration of the avatar is performed by the user selecting the head, hairstyle, clothes, accessories, and other parts that make up the avatar. The registration of the avatar may be performed by the client devices 10a to 10c in which the distribution application is installed. That is, the registration of the avatar may be performed by executing the function of the distribution application. In one embodiment, the avatar registration is performed by the client device in which the distribution application is installed among the client devices 10a to 10c, and may not be executed from the client device in which the distribution application is not installed. The registration of the avatar may be performed by application software (hereinafter, may be referred to as an "avatar creation application") having a function of creating, editing, and / or registering an avatar different from the distribution application. When registering an avatar by the distribution application and / or the avatar creation application, as described with reference to FIG. 3, an avatar ID that identifies the avatar is assigned, and the avatar ID is associated with the user ID of the user. It may be managed as user information. After registering the avatar, the user can change the avatar. For example, after the avatar is registered, some or all of the parts of the avatar can be changed. For example, even after registration, the avatar's hairstyle, possessed items, and other parts that make up the avatar can be changed.

一態様において、あるユーザのユーザIDと対応付けて、当該ユーザの視聴履歴を示す視聴履歴データ、当該ユーザに対する他のユーザからの評価を示す評価データ、及びこれら以外のサーバ装置20から配信される動画に関連するデータが含まれてもよい。 In one aspect, it is distributed from the viewing history data indicating the viewing history of the user, the evaluation data indicating the evaluation of the user by another user, and the server device 20 other than these, in association with the user ID of the user. Data related to the video may be included.

図5に示すように、アバタデータ23dは、動画配信システム1でユーザによって利用されるアバタのアタバ識別情報と、当該アバタを動画内に表示するためのアバタ表示情報と、を含むことができる。言い換えると、ストレージ23には、アバタのアタバ識別情報と対応付けて、当該アバタを表示するためのアバタ表示情報が記憶され得る。アタバ識別情報は、例えば、アバタを識別するアバタIDである。アバタは、例えば、人間や動物を模した画像として動画内に表示される。アバタ表示情報は、アバタを動画内に表示するために用いられる情報である。アバタ情報には、例えば、頭部、ヘアスタイル、顔のパーツ(目、鼻、口など)、胴部、服、アクセサリ、アイテム、及びこれら以外のアバタを構成するパーツの画像を示すパーツ情報が含まれる。ユーザは、好みのパーツ画像を選択することで自らのアバタを登録することができる。アバタ表示情報には、動画にアバタを2D表示するための2D表示情報と、動画にアバタを3D表示するための3D表示情報とが含まれてもよい。3D表示情報には、アバタを動画内で立体的に表示するためのパーツの画像を示すパーツ情報、アバタの3次元での動きを表現するためのリグデータ、及びこれら以外のアバタを立体的に表示するために用いられている公知の情報を含む。 As shown in FIG. 5, the avatar data 23d can include avatar identification information of the avatar used by the user in the moving image distribution system 1 and avatar display information for displaying the avatar in the moving image. In other words, the storage 23 can store the avatar display information for displaying the avatar in association with the avatar identification information of the avatar. The avatar identification information is, for example, an avatar ID that identifies the avatar. Avata is displayed in a moving image as, for example, an image imitating a human or an animal. The avatar display information is information used to display the avatar in the moving image. The avatar information includes, for example, parts information showing images of the head, hairstyle, facial parts (eyes, nose, mouth, etc.), torso, clothes, accessories, items, and other parts that make up the avatar. included. The user can register his / her own avatar by selecting a favorite part image. The avatar display information may include 2D display information for displaying the avatar in the moving image in 2D and 3D display information for displaying the avatar in the moving image in 3D. The 3D display information includes parts information that shows the image of the part for displaying the avatar three-dimensionally in the video, rig data for expressing the movement of the avatar in three dimensions, and other avatars that are displayed three-dimensionally. Contains known information used to do this.

次に、コンピュータプロセッサ21により実現される機能についてより具体的に説明する。コンピュータプロセッサ21は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、動画生成部21a、動画配信部21b、参加要求処理部21c、アバタ表示部21d、アバタ制御部21e、及び共演要求処理部21fとして機能する。コンピュータプロセッサ21により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21により実現される機能の少なくとも一部は、例えば、サポーターコンピュータ40に搭載されているコンピュータプロセッサ又はそれ以外の不図示のコンピュータプロセッサにより実現されてもよい。 Next, the functions realized by the computer processor 21 will be described more specifically. The computer processor 21 executes a computer-readable instruction included in the distribution program to execute a video generation unit 21a, a video distribution unit 21b, a participation request processing unit 21c, an avatar display unit 21d, an avatar control unit 21e, and a co-starring request. It functions as a processing unit 21f. At least a part of the functions realized by the computer processor 21 may be realized by a computer processor other than the computer processor 21 of the moving image distribution system 1. At least a part of the functions realized by the computer processor 21 may be realized by, for example, a computer processor mounted on the supporter computer 40 or another computer processor (not shown).

動画生成部21aは、仮想空間を構築し、仮想カメラの設定情報に基づいて定められる仮想空間の描画領域を描画するための動画情報(3次元動画データ)を生成する。仮想カメラの設定情報は、例えば、仮想空間内での仮想カメラの位置、注視位置、注視方向、及び画角を含んでもよい。動画情報は、オブジェクトデータ23b及び必要に応じてそれ以外のデータに基づいて生成され得る。動画生成部21aは、この3次元動画データをレンダリングして複数の動画フレームを生成する。この動画フレームは、所定のフレームレートで生成される。動画生成部21aにより構築される仮想空間は、例えば、その中心位置の周りを覆う全天球形状の3次元空間として定義される。仮想空間における位置は、当該仮想空間内に設定される三次元のグローバル座標系における座標値で指定され得る。 The moving image generation unit 21a constructs a virtual space and generates moving image information (three-dimensional moving image data) for drawing a drawing area of the virtual space determined based on the setting information of the virtual camera. The setting information of the virtual camera may include, for example, the position of the virtual camera, the gaze position, the gaze direction, and the angle of view in the virtual space. The moving image information can be generated based on the object data 23b and other data as needed. The moving image generation unit 21a renders the three-dimensional moving image data to generate a plurality of moving image frames. This moving image frame is generated at a predetermined frame rate. The virtual space constructed by the moving image generation unit 21a is defined as, for example, an omnidirectional three-dimensional space that surrounds the center position thereof. The position in the virtual space can be specified by the coordinate values in the three-dimensional global coordinate system set in the virtual space.

動画生成部21aにおいて生成される動画情報には、仮想空間の描画領域におけるアクターA1のキャラクタオブジェクトに関する情報が含まれてもよい。動画情報は、アクターA1の動きをリアルタイムに反映するように生成されてもよい。アクターA1のキャラクタオブジェクトに関する情報には、アクターA1の体の各部位のボディモーションデータ及びアクターA1の顔の動きのデジタル表現であるフェイスモーションデータを含んでもよい。ボディモーションデータは、例えば、モーションセンサ31a〜31fの各々の検出情報に基づいて生成される。ボディモーションデータは、時間の経過に伴って随時生成される。ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、ボディモーションデータは、アクターA1の体の動きを時系列的にデジタルデータとして表現することができる。図示の実施形態においては、モーションセンサ31a〜31fは、アクターA1の各々の左右の手足、腰、及び頭部に装着されているため、モーションセンサ31a〜31fの検出情報に基づいて、アクターA1の概ね全身の位置及び向きを経時的にデジタル表現することが可能である。ボディモーションデータは、例えば、モデルデータ23aに含まれるリグデータを構成する骨(ボーン)の位置及び回転角度を規定することができる。フェイスモーションデータは、例えば、カメラ37aの撮像データに基づいて生成される。フェイスモーションデータは、時間の経過に伴って随時生成される。例えば、フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、フェイスモーションデータは、アクターA1の顔の動き(表情の変化)を時系列的にデジタル表現することができる。ボディモーションデータ及びフェイスモーションデータをモデルデータ23aに含まれる所定のモデルデータに適用することにより、仮想空間内で動き、また、表情が変化するキャラクタオブジェクトのアニメーションが生成されてもよい。このようにして、動画情報には、アクターA1に関するボディモーションデータ及びフェイスモーションデータに基づいて、アクターA1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを表す情報が含められ得る。動画生成部21aは、以上のようにして得られる動画情報に基づいて、アクターA1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを表す動画フレームのシーケンスを生成することができる。動画生成部21aは、生成した動画に、スタジオユニット30のマイクから取得したアクターA1の音声を合成してもよい。 The moving image information generated by the moving image generation unit 21a may include information about the character object of the actor A1 in the drawing area of the virtual space. The moving image information may be generated so as to reflect the movement of the actor A1 in real time. The information about the character object of the actor A1 may include body motion data of each part of the body of the actor A1 and face motion data which is a digital representation of the facial movement of the actor A1. The body motion data is generated based on, for example, the detection information of each of the motion sensors 31a to 31f. Body motion data is generated at any time over time. Body motion data may be generated at predetermined sampling time intervals. In this way, the body motion data can represent the body movement of the actor A1 as digital data in chronological order. In the illustrated embodiment, since the motion sensors 31a to 31f are attached to the left and right limbs, hips, and head of the actor A1, the motion sensors 31a to 31f of the actor A1 are based on the detection information of the motion sensors 31a to 31f. It is possible to digitally represent the position and orientation of the whole body over time. The body motion data can define, for example, the position and rotation angle of the bones constituting the rig data included in the model data 23a. The face motion data is generated based on, for example, the image pickup data of the camera 37a. Face motion data is generated at any time with the passage of time. For example, face motion data may be generated at predetermined sampling time intervals. In this way, the face motion data can digitally represent the facial movement (change in facial expression) of the actor A1 in time series. By applying the body motion data and the face motion data to the predetermined model data included in the model data 23a, an animation of a character object that moves in the virtual space and whose facial expression changes may be generated. In this way, the moving image information may include information representing the animation of the character object that moves in synchronization with the movement of the body and facial expression of the actor A1 based on the body motion data and the face motion data related to the actor A1. The moving image generation unit 21a can generate a sequence of moving image frames representing an animation of a character object that moves in synchronization with the movement of the body and facial expression of the actor A1 based on the moving image information obtained as described above. The moving image generation unit 21a may synthesize the sound of the actor A1 acquired from the microphone of the studio unit 30 with the generated moving image.

動画生成部21aは、動画の配信前に、当該動画に参加する可能性のあるアバタについて、当該アバタの表示に必要なアバタ表示情報をロードすることができる。動画生成部21aは、アバタ表示情報のうち、ロードに時間がかかりまたロードのための処理負荷が大きい3D表示情報をロードすることができる。このロードされたアバタ表示情報は、ユーザからの参加要求に基づいてアバタを動画に表示させる場合に参照され得る。アタバを動画中に表示させる場合におけるロードされたアバタ表示情報の利用に関しては後述する。 The moving image generation unit 21a can load the avatar display information necessary for displaying the avatar for the avatars that may participate in the moving image before the moving image is distributed. Among the avatar display information, the moving image generation unit 21a can load the 3D display information that takes a long time to load and has a large processing load for loading. This loaded avatar display information can be referred to when the avatar is displayed in the moving image based on the participation request from the user. The use of the loaded avatar display information when displaying the avatar in the moving image will be described later.

動画配信部21bは、動画生成部21aにおいて生成された動画フレームのシーケンスを配信する。動画フレームは、動画配信部21bによってMPEG−4等の所定の符号化方式で圧縮符号化されてもよく、この圧縮符号化された動画フレームが配信されてもよい。本明細書では、動画の配信というときには、上記のようにして生成された動画フレームのシーケンスの配信を意味してもよい。 The moving image distribution unit 21b distributes a sequence of moving image frames generated by the moving image generating unit 21a. The moving image frame may be compressed and encoded by a moving image distribution unit 21b by a predetermined coding method such as MPEG-4, or the compressed and encoded moving image frame may be distributed. In the present specification, when referring to the distribution of a moving image, it may mean the distribution of a sequence of moving image frames generated as described above.

配信された動画は、ネットワーク15を介してクライアント装置10a〜クライアント装置10cにより受信され、クライアント装置10a〜クライアント装置10cにおいて再生される。この動画は、スタジオルームR内に設置されているクライアント装置(不図示)に配信され、このクライアント装置から短焦点プロジェクタを介してスクリーンSに投影されてもよい。また、この動画は、サポーターコンピュータ40に配信されてもよい。これにより、サポーターB1及びサポーターB2は、配信されている動画の視聴画面を確認することができる。 The delivered moving image is received by the client devices 10a to 10c via the network 15 and played back in the client devices 10a to 10c. This moving image may be distributed to a client device (not shown) installed in the studio room R, and may be projected onto the screen S from this client device via a short focus projector. Further, this moving image may be distributed to the supporter computer 40. As a result, the supporter B1 and the supporter B2 can confirm the viewing screen of the distributed moving image.

動画配信部21bから配信される動画の生成及び/又は配信に関与しているユーザを配信ユーザと呼ぶことがある。上記の例では、サーバ装置20から配信される動画は、アクターA1のボディモーションデータ及びフェイスモーションデータに基づいて生成されるキャラクタオブジェクトを含んでおり、必要に応じてサポーターB1及びサポーターB2の協力を得て配信されている。このため、アクターA1だけでなく、アクターA1、サポーターB1、及びサポーターB2を集合的に「配信ユーザ」としてもよい。 A user who is involved in the generation and / or distribution of the moving image distributed from the moving image distribution unit 21b may be referred to as a distribution user. In the above example, the moving image delivered from the server device 20 includes a character object generated based on the body motion data and the face motion data of the actor A1, and the supporters B1 and the supporters B2 cooperate as necessary. Obtained and delivered. Therefore, not only the actor A1 but also the actor A1, the supporter B1, and the supporter B2 may be collectively referred to as a “delivery user”.

動画生成部21aによって生成され動画配信部21bによって配信される動画の表示例を図7a及び図7bに示す。図7a及び図7bは、動画配信部21bによって配信され、クライアント装置10a〜10cにて再生される動画の表示例を示している。以下、図7a及び図7bの画像は、第1視聴ユーザが利用するクライアント装置10aに表示されていると想定して説明を行う。図7aに示されている画像は、クライアント装置10aにおいて視聴アプリを実行してサーバ装置20から配信された動画を再生することにより、クライアント装置10aのディスプレイに表示されてもよい。 7a and 7b show an example of displaying a moving image generated by the moving image generation unit 21a and distributed by the moving image distribution unit 21b. 7a and 7b show a display example of a moving image distributed by the moving image distribution unit 21b and reproduced by the client devices 10a to 10c. Hereinafter, the images of FIGS. 7a and 7b will be described on the assumption that they are displayed on the client device 10a used by the first viewing user. The image shown in FIG. 7a may be displayed on the display of the client device 10a by executing the viewing application on the client device 10a and playing back the moving image distributed from the server device 20.

図示のように、画像60aは、キャラクタオブジェクト51と、キャラクタオブジェクト51が立つフロアオブジェクト54aと、ステージの後端を画定するスクリーンオブジェクト54bと、を含んでいる。また、画像60aは、視聴ユーザからのコメントやシステム通知が表示される表示オブジェクト65を含む。キャラクタオブジェクト51は、アクターA1の体及び表情の動きに同期して動画内で動くように描写される。一実施形態においては、キャラクタオブジェクト51、フロアオブジェクト54a、及びスクリーンオブジェクト54bは、動画フレームに含まれているオブジェクトであり、表示オブジェクト65は動画フレームには含まれていないオブジェクトであってもよい。表示オブジェクト65は、クライアント装置10で実行される視聴アプリの機能により、サーバ装置20から送信された動画フレームに含まれるデータに基づかずに生成されたオブジェクトであってもよい。 As shown, the image 60a includes a character object 51, a floor object 54a on which the character object 51 stands, and a screen object 54b that defines the rear edge of the stage. The image 60a also includes a display object 65 on which comments and system notifications from viewing users are displayed. The character object 51 is depicted so as to move in the moving image in synchronization with the movement of the body and facial expression of the actor A1. In one embodiment, the character object 51, the floor object 54a, and the screen object 54b may be objects included in the moving image frame, and the display object 65 may be an object not included in the moving image frame. The display object 65 may be an object generated by the function of the viewing application executed by the client device 10 without being based on the data included in the moving image frame transmitted from the server device 20.

画像60aには、仮想空間50内に配置された各オブジェクトに加え、ユーザの操作を受け付けるための操作ボタンが表示されてもよい。図7aに示されている例では、画像60aに、ギフティングを行うためのギフトボタン61と、評価を提供するための評価ボタン62と、アバタを参加させるための参加要求ボタン63と、が含まれている。画像60aには、これら以外の操作ボタンが表示されてもよい。これらの操作ボタンは、クライアント装置10で実行される視聴アプリの機能により、サーバ装置20から送信された動画フレームに含まれるデータに基づかずに生成されたオブジェクトであってもよい。 In the image 60a, in addition to each object arranged in the virtual space 50, an operation button for accepting a user's operation may be displayed. In the example shown in FIG. 7a, the image 60a includes a gift button 61 for performing gifting, an evaluation button 62 for providing an evaluation, and a participation request button 63 for allowing the avatar to participate. It has been. Operation buttons other than these may be displayed on the image 60a. These operation buttons may be objects generated by the function of the viewing application executed by the client device 10 without being based on the data included in the moving image frame transmitted from the server device 20.

ギフトボタン61は、画像60aが表示されているクライアント装置10aへの操作によって選択可能に画像60aに表示されている。ギフトボタン61は、例えば、クライアント装置10aのタッチパネルのうちギフトボタン61が表示されている領域へのタップ操作により選択され得る。一実施形態において、ギフトボタン61が選択されると、画像60aに、視聴中の動画を配信している配信者に贈る(ギフティングする)ギフトを選択するためのウィンドウが表示される。クライアント装置10aのユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを購入・選択することができる。他の実施形態においては、ギフトボタン61が選択されたことに応じて、画像60aに、購入済みのギフトの一覧及び/又は選択可能なギフトの一覧を含むウィンドウが表示される。この場合、動画を視聴しているユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを選択することができる。一実施形態においては、クライアント装置10におけるギフトボタン61の選択に応じて、ギフティング要求がサーバ装置60に送信されてもよい。このギフティング要求には、ギフティングするギフトに対応するギフトオブジェクトを特定するギフト識別情報(ギフトID)が含まれてもよい。このように、動画を視聴している視聴ユーザは、ギフトボタン61の選択により、当該動画を配信している配信ユーザに対して所望のギフトを贈ることができる。 The gift button 61 is displayed on the image 60a so as to be selectable by operating the client device 10a on which the image 60a is displayed. The gift button 61 can be selected, for example, by tapping the area of the touch panel of the client device 10a where the gift button 61 is displayed. In one embodiment, when the gift button 61 is selected, the image 60a displays a window for selecting a gift to be given (gifted) to the distributor who is distributing the video being viewed. The user of the client device 10a can purchase and select a gift to be gifted from the gifts displayed in the window. In another embodiment, in response to the gift button 61 being selected, the image 60a displays a window containing a list of purchased gifts and / or a list of selectable gifts. In this case, the user who is watching the video can select the gift to be gifted from the gifts displayed in the window. In one embodiment, a gifting request may be sent to the server device 60 depending on the selection of the gift button 61 on the client device 10. The gifting request may include gift identification information (gift ID) that identifies the gift object corresponding to the gift to be gifted. In this way, the viewing user who is viewing the video can give a desired gift to the distribution user who is distributing the video by selecting the gift button 61.

サーバ装置20は、ユーザのクライアント装置10aからギフティング要求を受け付け、当該要求に応じた処理を行う。上記のとおり、動画を視聴しているユーザは、自らのクライアント装置を操作することにより、ギフティング要求をサーバ装置20に送信することができる。一態様において、サーバ装置20は、ギフティング要求を受け付けると、当該ギフティング要求に基づいて、ギフト対象のギフトオブジェクトを特定し、特定されたギフトオブジェクトに応じた表示処理を行う。上述のように、ギフトオブジェクトには、エフェクトオブジェクトと、通常オブジェクトと、装飾オブジェクトと、が含まれ得る。ギフティング要求によって特定されるギフトオブジェクトがエフェクトオブジェクトの場合には、サーバ装置20は、当該エフェクトオブジェクトを動画フレームに含めるための処理を行う。例えば、紙吹雪に対応するエフェクトオブジェクトについてギフティング要求がなされた場合には、サーバ装置20は、当該ギフティング要求に基づいて紙吹雪を示すエフェクトオブジェクトを動画フレームに含める。これにより、画像60aにおいて紙吹雪が描写される。一態様において、サーバ装置20は、特定の通常オブジェクトについてのギフティング要求を受け付けると、当該ギフティング要求によって特定される通常オブジェクトを動画フレームに含めるための処理を行う。例えば、熊のぬいぐるみを示す通常オブジェクトについてギフティング要求がなされた場合には、サーバ装置20は、当該熊のぬいぐるみを示す通常オブジェクトを動画フレームに含める。これにより、画像60aにおいて熊のぬいぐるみが描写される。 The server device 20 receives a gifting request from the user's client device 10a and performs processing according to the request. As described above, the user who is watching the moving image can send the gifting request to the server device 20 by operating his / her own client device. In one aspect, when the server device 20 receives the gifting request, the server device 20 identifies the gift object to be gifted based on the gifting request, and performs display processing according to the specified gift object. As mentioned above, the gift object may include an effect object, a normal object, and a decoration object. When the gift object specified by the gifting request is an effect object, the server device 20 performs a process for including the effect object in the moving image frame. For example, when a gifting request is made for an effect object corresponding to confetti, the server device 20 includes an effect object indicating confetti in the moving image frame based on the gifting request. As a result, the confetti is depicted in the image 60a. In one aspect, when the server device 20 receives a gifting request for a specific normal object, the server device 20 performs a process for including the normal object specified by the gifting request in the moving image frame. For example, when a gifting request is made for a normal object indicating a teddy bear, the server device 20 includes the normal object indicating the teddy bear in the moving image frame. As a result, a teddy bear is depicted in image 60a.

一態様において、サーバ装置20は、視聴ユーザから特定の装飾オブジェクトについてのギフティング要求を受け付けると、当該ギフティング要求によって特定される装飾オブジェクトを候補リストに追加する。この候補リストは、例えば、サポーターコンピュータ40のディスプレイに表示される。サポーターB1及びサポーターB2は、サポーターコンピュータ40のディスプレイに表示された候補リストの中から、動画に表示する装飾オブジェクトを選択することができる。サーバ装置20は、選択された装飾オブジェクトを動画フレームに含める。これにより、画像60aにおいて当該装飾オブジェクトが描写される。選択された装飾オブジェクトは、キャラクタオブジェクト51の特定の部位と関連付けて画像60aに表示される。例えば、装飾オブジェクトがカチューシャを示すオブジェクトである場合、当該装飾オブジェクトは、キャラクタオブジェクト51の頭部に装着されてもよい。装飾オブジェクトは、キャラクタオブジェクトの当該特定部位の動きに付随して動くように、画像60aに表示されてもよい。例えば、カチューシャを装着したキャラクタオブジェクト51の頭部が動くと、あたかもカチューシャがキャラクタオブジェクト51の頭部に装着されているかのごとく、カチューシャを示す選択装飾オブジェクトもキャラクタオブジェクト51の頭部に付随して動く。 In one aspect, when the server device 20 receives a gifting request for a specific decoration object from the viewing user, the server device 20 adds the decoration object specified by the gifting request to the candidate list. This candidate list is displayed, for example, on the display of the supporter computer 40. Supporter B1 and supporter B2 can select a decoration object to be displayed in the moving image from the candidate list displayed on the display of the supporter computer 40. The server device 20 includes the selected decorative object in the moving image frame. As a result, the decorative object is depicted in the image 60a. The selected decorative object is displayed in the image 60a in association with a specific part of the character object 51. For example, when the decoration object is an object indicating an alice band, the decoration object may be attached to the head of the character object 51. The decorative object may be displayed in the image 60a so as to move with the movement of the specific portion of the character object. For example, when the head of the character object 51 equipped with the alice band moves, a selection decoration object indicating the alice band is also attached to the head of the character object 51 as if the alice band is attached to the head of the character object 51. It works.

評価ボタン62は、クライアント装置10aを使用するユーザによって選択可能に画像60aに表示されている。評価ボタン62は、例えば、クライアント装置10aのタッチパネルのうち評価ボタン62が表示されている領域へのタップ操作により選択され得る。動画を視聴中のユーザによって評価ボタン62が選択されると、当該動画を配信する配信ユーザ(例えば、アクターA1)への肯定的な評価又は配信されている動画への肯定的な評価がなされたことを示す評価更新情報がサーバ装置60に送信されてもよい。評価ボタン62の選択により、当該動画への否定的な評価がなされたことを示す評価情報がサーバ装置60に送信されてもよい。 The evaluation button 62 is displayed on the image 60a so as to be selectable by the user who uses the client device 10a. The evaluation button 62 can be selected, for example, by tapping the area of the touch panel of the client device 10a where the evaluation button 62 is displayed. When the evaluation button 62 is selected by the user who is watching the video, a positive evaluation is given to the distribution user (for example, actor A1) who distributes the video, or a positive evaluation is made to the distributed video. Evaluation update information indicating that may be transmitted to the server device 60. By selecting the evaluation button 62, evaluation information indicating that the moving image has been negatively evaluated may be transmitted to the server device 60.

参加要求ボタン63は、クライアント装置10aを使用する視聴ユーザによって選択可能に画像60aに表示されている。参加要求ボタン63は、例えば、クライアント装置10aのタッチパネルのうち参加要求ボタン63が表示されている領域へのタップ操作により選択され得る。動画を視聴中の視聴ユーザによって参加要求ボタン63が選択されると、当該視聴ユーザのアバタを当該動画に参加させることを要求する参加要求がサーバ装置20に送信される。参加要求ボタン63の選択により参加要求を送信したユーザを「参加要求ユーザ」と呼ぶことがある。参加要求ユーザからの参加要求には、当該参加要求ユーザのユーザIDと、当該参加要求ユーザのアバタのアバタIDと、が含まれてもよい。自らのアバタを登録していない視聴ユーザによって参加要求ボタン63が選択された場合には、クライアント装置10aにアバタの登録を促す画面が表示されてもよい。この場合、視聴ユーザは、当該画面のガイダンスに従ってアバタを登録することができる。参加要求ボタン63は、全ての視聴ユーザのクライアント装置10において表示されてもよい。 The participation request button 63 is displayed on the image 60a so as to be selectable by the viewing user who uses the client device 10a. The participation request button 63 can be selected, for example, by tapping the area of the touch panel of the client device 10a where the participation request button 63 is displayed. When the participation request button 63 is selected by the viewing user who is viewing the video, a participation request requesting that the viewing user's avatar participate in the video is transmitted to the server device 20. A user who has sent a participation request by selecting the participation request button 63 may be referred to as a "participation request user". The participation request from the participation request user may include the user ID of the participation request user and the avatar ID of the avatar of the participation request user. When the participation request button 63 is selected by a viewing user who has not registered his / her own avatar, the client device 10a may display a screen prompting the registration of the avatar. In this case, the viewing user can register the avatar according to the guidance on the screen. The participation request button 63 may be displayed on the client device 10 of all viewing users.

参加要求処理部21cは、参加要求ユーザのクライアント装置10aから視聴中の動画への参加要求を受け付け、当該参加要求に基づいて当該参加要求ユーザのアバタの表示可否について判定を行う。参加要求がなされた動画について参加できるアバタの上限数が設定されることがある。この場合、参加要求処理部21cは、当該上限数以下となるように、参加要求に基づいて参加可否を決定することができる。参加要求処理部21cは、例えば、動画が配信される前の受付期間に参加要求を受け付け、この参加要求を行った複数の参加要求ユーザの中から上限数以下のユーザについて当該動画への参加を許可することができる。つまり、参加要求処理部21cは、参加要求を行った複数の視聴ユーザ(参加要求ユーザ)の中から上限数以下の複数の参加ユーザを選定することができる。参加要求処理部21cは、参加要求ユーザの数が上限数を上回る場合には、所定のアルゴリズムに従って複数の参加要求ユーザの中から参加が許可される上限数以下のユーザを選択してもよい。参加要求処理部21cは、例えば、先着順で、又は、ランダムに参加が許可されるユーザを選択することができる。参加要求処理部21cは、ユーザデータ23cとして記憶されている視聴履歴データ、評価データ、及びこれら以外のデータに基づいて参加要求ユーザの参加可否を決定してもよい。例えば、視聴履歴データに基づいて、視聴時間が長い参加要求ユーザほど参加が許可されやすくなるようにしてもよい。視聴履歴データに基づいて、視聴回数が多い参加要求ユーザほど参加が許可されやすくなるようにしてもよい。本明細書においては、参加要求処理部21cによって動画への参加が許可された視聴ユーザを「参加ユーザ」と呼ぶことがある。 The participation request processing unit 21c receives a participation request for the moving image being viewed from the client device 10a of the participation request user, and determines whether or not the avatar of the participation request user can be displayed based on the participation request. There may be a maximum number of avatars that can participate in videos for which participation is requested. In this case, the participation request processing unit 21c can determine whether or not to participate based on the participation request so that the number is equal to or less than the upper limit. The participation request processing unit 21c receives, for example, a participation request during the reception period before the video is distributed, and among the plurality of participation request users who have made the participation request, the users who are less than or equal to the maximum number can participate in the video. Can be allowed. That is, the participation request processing unit 21c can select a plurality of participating users of the upper limit or less from the plurality of viewing users (participation request users) who have made the participation request. When the number of participation request users exceeds the upper limit, the participation request processing unit 21c may select a user equal to or less than the upper limit of the number of participation request users from a plurality of participation request users according to a predetermined algorithm. The participation request processing unit 21c can select, for example, users who are allowed to participate on a first-come, first-served basis or randomly. The participation request processing unit 21c may determine whether or not the participation request user can participate based on the viewing history data, the evaluation data, and other data stored as the user data 23c. For example, based on the viewing history data, the participation requesting user who has a long viewing time may be more likely to be permitted to participate. Based on the viewing history data, the participation requesting user who has a large number of viewings may be more likely to be permitted to participate. In the present specification, the viewing user who is permitted to participate in the moving image by the participation request processing unit 21c may be referred to as a "participating user".

一実施形態において、参加要求処理部21cは、視聴ユーザからの参加要求に基づいて当該視聴ユーザの参加可否を決定した後、参加要求を行った視聴ユーザ全員に対して当該動画への参加が許可されたか否かを示す通知を送信しないように構成されてもよい。参加要求処理部21cは、動画への参加が許可された参加ユーザのクライアント装置10に対して、後述する共演機能をアクティベートするためのコマンドを送信してもよい。一実施形態において、参加要求処理部21cは、視聴ユーザからの参加要求に基づいて当該視聴ユーザの参加可否を決定した後、当該動画への参加が許可された参加ユーザのクライアント装置10に対して上記のコマンドを送信する一方、当該動画への参加が許可された参加ユーザのクライアント装置10に対しては動画への参加可否についての決定を示す通知及び上記のコマンドのいずれも送信しないように構成される。 In one embodiment, the participation request processing unit 21c determines whether or not the viewing user can participate based on the participation request from the viewing user, and then permits all the viewing users who have made the participation request to participate in the video. It may be configured not to send a notification indicating whether or not it has been done. The participation request processing unit 21c may send a command for activating the co-starring function described later to the client device 10 of the participating user who is permitted to participate in the moving image. In one embodiment, the participation request processing unit 21c determines whether or not the viewing user can participate based on the participation request from the viewing user, and then refers to the client device 10 of the participating user who is permitted to participate in the video. While transmitting the above command, the client device 10 of the participating user who is permitted to participate in the video is configured not to send a notification indicating a decision as to whether or not to participate in the video and neither of the above commands. Will be done.

アバタ表示部21dは、参加要求ユーザの動画への参加が許可された場合、参加が許可された参加ユーザのアバタを当該動画に含めるための処理を行う。アバタ表示部21dは、例えば、第1視聴ユーザのアバタを動画に含める場合には、ユーザデータ23cを参照して当該第1視聴ユーザのユーザIDに関連付けられているアバタIDを特定し、次に、アバタデータ23dを参照して当該アバタIDに関連付けられているパーツ情報を特定する。アバタ表示部21dは、特定されたパーツ情報に基づいて第1視聴ユーザのアバタを表すアバタオブジェクトを構築する。また、アバタ表示部21dは、仮想空間における当該アバタオブジェクトの表示位置を決定する。動画生成部21aは、アバタ表示部21dにより構築されたアバタオブジェクトが仮想空間内の決定された位置に配置されるように動画情報を生成し、この動画情報に基づいて動画フレームを生成する。このようにして生成された参加ユーザのアバタオブジェクトを含む動画フレームが動画配信部21bによってクライアント装置10に送信される。 When the participation requesting user is permitted to participate in the video, the avatar display unit 21d performs a process for including the avatar of the participating user who is permitted to participate in the video. For example, when the avatar of the first viewing user is included in the moving image, the avatar display unit 21d identifies the avatar ID associated with the user ID of the first viewing user by referring to the user data 23c, and then identifies the avatar ID associated with the user ID of the first viewing user. , The part information associated with the avatar ID is specified with reference to the avatar data 23d. The avatar display unit 21d constructs an avatar object representing the avatar of the first viewing user based on the specified part information. Further, the avatar display unit 21d determines the display position of the avatar object in the virtual space. The moving image generation unit 21a generates moving image information so that the avatar object constructed by the avatar display unit 21d is arranged at a determined position in the virtual space, and generates a moving image frame based on the moving image information. The moving image frame including the avatar object of the participating user generated in this way is transmitted to the client device 10 by the moving image distribution unit 21b.

クライアント装置10は、参加ユーザのアバタオブジェクトを含む動画フレームを再生することができる。図7bに、参加ユーザのアバタオブジェクトを含む動画の表示例を示す。図7bに示されているように、画像60bは、参加ユーザのアバタオブジェクトであるアバタ56a〜56c及びアバタ57a〜57gを含んでいる。以下の説明においては、画像60bに含まれている複数のアバタオブジェクトのうち、アバタ56aが第1視聴ユーザのアバタ(アバタオブジェクト)であると想定する。図7bに示されている画像60bの描画のために用いられている仮想カメラは、図7aの画像の描画に用いられた仮想カメラよりもキャラクタオブジェクト51から離れた位置においてキャラクタオブジェクト51の方向を向くように配置されている。このため、画像60bにおいては、画像60aよりも、キャラクタオブジェクト51を含む仮想空間のより広い範囲が描画されている。 The client device 10 can reproduce a moving image frame including an avatar object of a participating user. FIG. 7b shows a display example of a moving image including an avatar object of a participating user. As shown in FIG. 7b, image 60b contains avatar objects 56a-56c and 57a-57g of participating users. In the following description, it is assumed that the avatar 56a is the avatar (avatar object) of the first viewing user among the plurality of avatar objects included in the image 60b. The virtual camera used for drawing the image 60b shown in FIG. 7b is oriented in the direction of the character object 51 at a position farther from the character object 51 than the virtual camera used for drawing the image of FIG. 7a. It is arranged so that it faces. Therefore, in the image 60b, a wider range of the virtual space including the character object 51 is drawn than in the image 60a.

図7bに示されているように、画像60bに重畳させてエモーションボタン68が表示されてもよい。エモーションボタン68は、視聴ユーザが動画視聴時の感情を表現するためのボタンである。エモーションボタン68は、サーバ装置20から配信された動画フレームに、重畳して表示されてもよい。つまり、エモーションボタン68は、仮想空間に配置されたオブジェクトではなくともよい。視聴ユーザは、このエモーションボタン68を選択することにより、当該動画に感動したこと、当該動画に共感できなかったこと、及びこれら以外の視聴ユーザの感情を選択することができる。エモーションボタン68には、動画に感動したという感情を選択するための拍手ボタン、動画に共感できなかったことを示すための疑問符ボタン、動画に驚いたことを示すための驚きボタン、及びこれら以外のボタンを含むことができる。エモーションボタン68の各々には、当該エモーションボタン68によって選択される感情を表現する記号又はグラフィックスの表示が含まれていてもよい。例えば、拍手ボタンには拍手している手を表すグラフィックスの表示が含まれていてもよく、疑問符ボタンにはクエスチョンマークの表示が含まれていてもよく、驚きボタンにはエクスクラメーションマークの表示が含まれていてもよい。エモーションボタン68は、例えば、クライアント装置10aのタッチパネルのうちエモーションボタン68が表示されている領域へのタップ操作により選択され得る。動画を視聴中の第1視聴ユーザによってエモーションボタン68が選択されると、エモーション表示要求がサーバ装置20に送信される。エモーション表示要求には、エモーションボタン68のうち第1視聴ユーザが選択したボタンの種類(拍手ボタン、疑問符ボタン、及び驚きボタンなど)を示すエモーション識別情報が含まれていてもよい。エモーションボタン68を選択することにより、エモーションボタン68に対応付けられた複数のボタン(拍手ボタン、驚きボタンなど)をポップアップ表示させてもよい。エモーションボタン68に対応付けられた複数のボタンがポップアップ表示される場合、ユーザは、ポップアップ表示された複数のボタンの中から自らの感情にマッチしたボタンを選択することができる。エモーションボタン68は、ユーザのアバタが動画に参加している場合に表示され、当該ユーザのアバタが動画に参加していない場合には表示されなくともよい。 As shown in FIG. 7b, the emotion button 68 may be displayed superimposed on the image 60b. The emotion button 68 is a button for the viewing user to express emotions when viewing the moving image. The emotion button 68 may be superimposed and displayed on the moving image frame distributed from the server device 20. That is, the emotion button 68 does not have to be an object arranged in the virtual space. By selecting the emotion button 68, the viewing user can select that he / she was impressed by the moving image, that he / she could not sympathize with the moving image, and the emotions of the viewing user other than these. The emotion button 68 includes an applause button for selecting the feeling of being impressed by the video, a question mark button for indicating that the video could not be sympathized, a surprise button for indicating that the video was surprised, and other buttons. Can include buttons. Each of the emotion buttons 68 may include a symbol or graphic display representing the emotion selected by the emotion button 68. For example, the applause button may contain a graphic representation of the clapping hand, the question mark button may contain a question mark display, and the surprise button may contain an exclamation mark. A display may be included. The emotion button 68 can be selected, for example, by tapping the area of the touch panel of the client device 10a where the emotion button 68 is displayed. When the emotion button 68 is selected by the first viewing user who is viewing the moving image, the emotion display request is transmitted to the server device 20. The emotion display request may include emotion identification information indicating the type of button (applause button, question mark button, surprise button, etc.) selected by the first viewing user among the emotion buttons 68. By selecting the emotion button 68, a plurality of buttons (applause button, surprise button, etc.) associated with the emotion button 68 may be displayed in a pop-up. When a plurality of buttons associated with the emotion button 68 are displayed in a pop-up, the user can select a button that matches his / her emotion from the plurality of buttons displayed in the pop-up. The emotion button 68 is displayed when the user's avatar is participating in the video, and may not be displayed when the user's avatar is not participating in the video.

アバタ制御部21eは、第1視聴ユーザからのエモーション表示要求を受け付け、当該エモーション表示要求に基づいて、第1視聴ユーザのアバタの仮想空間内での動きを制御してもよい。例えば、第1視聴ユーザがエモーションボタンの一種である拍手ボタンを選択したことによりエモーション表示要求が送信された場合には、アバタ制御部21eは、当該エモーション表示要求に基づいて、第1視聴ユーザのアバタ56aに対して拍手を行う動作を行わせることができる。このエモーション表示要求に基づいてアバタ56aに拍手を行わせる制御が行われるときに、当該アバタ56aが描画領域に含まれている場合には、アバタ56aが拍手しているアニメーションが動画内で表現されてもよい。逆に、アバタ56aが描画領域に含まれていない場合には、アバタ56aが拍手している音を動画において表現する一方で拍手するアニメーションは表示されなくともよい。一実施形態においては、エモーションボタン68は、ユーザのアバタが動画内に表示されている場合にのみ、当該ユーザが視聴中の動画に表示されてもよい。例えば、第1視聴ユーザのクライアント装置10aに図7aに示されている画像60aが表示されている場合には、当該第1視聴ユーザのアバタ56aは画像60a内に表示されていないため、この画像60bにはエモーションボタン68が含まれなくともよい。これとは逆に、第1視聴ユーザのクライアント装置10aに図7bに示されている画像60bが含まれている場合には、当該第1視聴ユーザのアバタ56aが画像60b内に含まれているため、この画像60bにエモーションボタン68が含まれてもよい。 The avatar control unit 21e may receive an emotion display request from the first viewing user and control the movement of the first viewing user in the virtual space based on the emotion display request. For example, when the emotion display request is transmitted by the first viewing user selecting the applause button, which is a kind of emotion button, the avatar control unit 21e is based on the emotion display request of the first viewing user. The avatar 56a can be made to perform an action of applauding. When control is performed to cause the avatar 56a to applaud based on this emotion display request, if the avatar 56a is included in the drawing area, the animation in which the avatar 56a is clapping is expressed in the moving image. You may. On the contrary, when the avatar 56a is not included in the drawing area, the sound of the avatar 56a clapping may be expressed in the moving image, but the clapping animation may not be displayed. In one embodiment, the emotion button 68 may be displayed in the video being viewed by the user only when the user's avatar is displayed in the video. For example, when the image 60a shown in FIG. 7a is displayed on the client device 10a of the first viewing user, the avatar 56a of the first viewing user is not displayed in the image 60a, so this image. The emotion button 68 may not be included in the 60b. On the contrary, when the client device 10a of the first viewing user includes the image 60b shown in FIG. 7b, the avatar 56a of the first viewing user is included in the image 60b. Therefore, the emotion button 68 may be included in this image 60b.

このように、ユーザからのエモーション表示要求に基づいて、当該ユーザのアバタが動画内で拍手などの動きを行う。エモーション表示要求は、アバタの動作を指示する動作指示の一種である。他の実施形態においては、エモーションボタン以外に、アバタの動作を指示する動作指示ボタンが画像に含まれてもよい。動作指示ボタンは、アバタの動作を指示するためのボタンである。動作指示ボタンは、例えば、ジャンプするという動作、手を振るという動作、サイリウムを振るという動作、及びこれら以外の動作を指示するために用いられ得る。動作指示ボタンが選択されると、動作指示要求がサーバ装置20に送信される。サーバ装置20では、アバタに対して動作指示要求に基づいた動作を行わせることができる。 In this way, based on the emotion display request from the user, the user's avatar makes a movement such as applause in the moving image. The emotion display request is a kind of operation instruction for instructing the operation of the avatar. In another embodiment, in addition to the emotion button, an operation instruction button for instructing the operation of the avatar may be included in the image. The operation instruction button is a button for instructing the operation of the avatar. The operation instruction button can be used, for example, to instruct an operation of jumping, an operation of waving a hand, an operation of waving a psyllium, and other operations. When the operation instruction button is selected, the operation instruction request is transmitted to the server device 20. In the server device 20, the avatar can be made to perform an operation based on the operation instruction request.

次に、視聴ユーザと配信ユーザとを動画内で各々の仮想キャラクタを介して共演させる共演機能について説明する。図7bに示されているように、第1視聴ユーザの動画への参加が許可された場合には、当該第1視聴ユーザが使用するクライアント装置10に共演申請ボタン64が表示される。共演申請ボタン64は、視聴ユーザのアバタをキャラクタオブジェクト51と共に表示すること、つまり、視聴ユーザと配信ユーザとが当該視聴ユーザのアバタ及び当該配信ユーザのキャラクタオブジェクト51を介して共演することを要求するためのボタンである。共演申請ボタン64は、クライアント装置10aを使用する第1視聴ユーザによって選択可能に画像60bに重畳表示されている。共演申請ボタン64は、例えば、クライアント装置10aのタッチパネルのうち共演申請ボタン64が表示されている領域へのタップ操作により選択され得る。動画を視聴中の第1視聴ユーザによって共演申請ボタン64が選択されると、当該第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共演させるための共演要求がサーバ装置20に送信される。当該第1視聴ユーザのクライアント装置10aは、共演要求をサーバ装置20へ送信したことに応じて、図7cに示されているように、共演要求が行われたことを示すメッセージ66aを表示してもよい。 Next, a co-starring function in which the viewing user and the distribution user co-star in the moving image via their respective virtual characters will be described. As shown in FIG. 7b, when the first viewing user is permitted to participate in the moving image, the co-star application button 64 is displayed on the client device 10 used by the first viewing user. The co-starring application button 64 requests that the viewing user's avatar be displayed together with the character object 51, that is, the viewing user and the distribution user co-star through the viewing user's avatar and the distribution user's character object 51. It is a button for. The co-star application button 64 is superimposed and displayed on the image 60b so as to be selectable by the first viewing user who uses the client device 10a. The co-star application button 64 can be selected, for example, by tapping the area of the touch panel of the client device 10a where the co-star application button 64 is displayed. When the co-starring application button 64 is selected by the first viewing user who is viewing the moving image, a co-starring request for co-starring the avatar 56a of the first viewing user with the character object 51 is transmitted to the server device 20. The client device 10a of the first viewing user displays a message 66a indicating that the co-starring request has been made, as shown in FIG. 7c, in response to transmitting the co-starring request to the server device 20. May be good.

一実施形態において、クライアント装置10は、参加要求処理部21cから共演機能をアクティベートするためのコマンドを受信したことに応じて共演申請ボタン64を表示してもよい。このコマンドは、上述のように、動画への参加が許可された参加ユーザのクライアント装置10に対してサーバ装置20から送信される。クライアント装置10は、参加要求処理部21cから共演機能をアクティベートするためのコマンドを受信するまでは共演申請ボタン64を表示しなくともよい。共演申請ボタン64は、参加要求処理部21cから共演機能をアクティベートするためのコマンドを受信するまではユーザから選択不可能な状態で表示され、当該コマンドを受信したことに応じてユーザから選択可能とされてもよい。 In one embodiment, the client device 10 may display the co-star application button 64 in response to receiving a command for activating the co-star function from the participation request processing unit 21c. As described above, this command is transmitted from the server device 20 to the client device 10 of the participating user who is permitted to participate in the moving image. The client device 10 does not have to display the co-star application button 64 until it receives a command for activating the co-star function from the participation request processing unit 21c. The co-star application button 64 is displayed in a state in which it cannot be selected by the user until a command for activating the co-star function is received from the participation request processing unit 21c, and can be selected by the user according to the reception of the command. May be done.

サーバ装置20において共演要求が受け付けられると、共演要求処理部21fは、当該共演要求を行った視聴ユーザ(参加ユーザ)と配信ユーザとの共演を許可するか否かを決定する。共演要求処理部21fは、共演要求を行った視聴ユーザに関する様々な情報に基づいて所定のアルゴリズムを用いて共演可否を決定することができる。共演要求処理部21fは、例えば、ユーザデータ23cを参照することにより共演要求を行った視聴ユーザに対する他のユーザからの評価が所定の基準より高いか否かを判定し、当該視聴ユーザに対する評価が当該基準よりも高い場合に当該視聴ユーザからの共演要求を許可することができる。逆に、視聴ユーザに対する他のユーザからの評価が所定の基準よりも低い場合には、当該視聴ユーザからの共演要求を拒否することができる。共演要求が許可された視聴ユーザ(参加ユーザ)を「ゲストユーザ」と呼ぶことがある。 When the co-starring request is received by the server device 20, the co-starring request processing unit 21f determines whether or not to allow the co-starring between the viewing user (participating user) who made the co-starring request and the distribution user. The co-starring request processing unit 21f can determine whether or not co-starring is possible by using a predetermined algorithm based on various information about the viewing user who has made the co-starring request. The co-starring request processing unit 21f determines, for example, whether or not the evaluation of the viewing user who made the co-starring request by another user is higher than a predetermined criterion by referring to the user data 23c, and the evaluation of the viewing user is evaluated. If it is higher than the standard, the co-starring request from the viewing user can be permitted. On the contrary, when the evaluation of the viewing user by another user is lower than the predetermined criterion, the co-starring request from the viewing user can be rejected. A viewing user (participating user) who is permitted to request co-starring may be referred to as a "guest user".

共演要求処理部21fは、視聴ユーザから共演要求を受け付けたことに応じて、当該視聴ユーザからの共演申請を許可するか否かを配信ユーザに問い合わせ、その回答に応じて共演の可否を決定してもよい。共演要求処理部21fは、第1視聴ユーザから共演要求を受け付けると、第1視聴ユーザを含む表示要求ユーザリストを生成し、当該表示要求ユーザリストを配信ユーザに提示してもよい。ある動画についての表示要求ユーザリストは、共演要求を行ったユーザ(又は当該ユーザのアバタ)を特定する情報(例えば、ユーザID、ユーザ名、ニックネーム、アバタID、又はこれら以外の情報)をリスト形式で示してもよい。表示要求ユーザリストには、共演要求を送信したユーザの全てを含まなくともよい。例えば、表示要求ユーザリストには、共演要求を送信したユーザのうち、当該ユーザのアバタの3D表示情報が既にロードされているユーザのみを含んでもよい。このような表示要求ユーザリストには、共演要求を送信したユーザのうち、当該ユーザのアバタの3D表示情報がロードされていないユーザを特定する情報を含まない。3D表示情報がロードされていないアバタの3D表示を行うためには3D表示情報をランタイムロードする必要があるため、サーバ装置20の処理リソースを多く消費する。共演要求に3D表示情報がロード済のアバタを使用するユーザのみが含まれるようにすることで、ランタイムロードを回避することができる。 In response to the reception of the co-starring request from the viewing user, the co-starring request processing unit 21f inquires the distribution user whether or not to allow the co-starring application from the viewing user, and determines whether or not the co-starring is possible according to the answer. You may. When the co-starring request processing unit 21f receives the co-starring request from the first viewing user, the co-starring request processing unit 21f may generate a display request user list including the first viewing user and present the display request user list to the distribution user. The display request user list for a certain video is a list format of information (for example, user ID, user name, nickname, avatar ID, or other information) that identifies the user (or the avatar of the user) who made the co-starring request. May be indicated by. The display request user list does not have to include all the users who sent the co-star request. For example, the display request user list may include only the users who have sent the co-starring request and the 3D display information of the avatar of the user has already been loaded. Such a display request user list does not include information that identifies a user who has sent a co-starring request and for which the 3D display information of the avatar of the user has not been loaded. 3D display information is not loaded In order to perform 3D display of the avatar, it is necessary to load the 3D display information at runtime, which consumes a lot of processing resources of the server device 20. The runtime load can be avoided by including only the user who uses the loaded avatar in the 3D display information in the co-starring request.

共演要求処理部21fは、表示要求ユーザリストをサポーターコンピュータ40に送信することができる。サポーターB1及びサポーターB2は、サポーターコンピュータ40のディスプレイに表示された表示要求ユーザリストからキャラクタオブジェクトと共に表示することを認めるアバタのユーザを選択することができる。表示要求ユーザリストは、スタジオルームRのディスプレイ39に表示されてもよい。アクターA1は、コントローラ33aまたはコントローラ33bを操作することにより、表示要求ユーザリストから、キャラクタオブジェクト51と共に表示するアバタのユーザを選択してもよい。 The co-starring request processing unit 21f can transmit the display request user list to the supporter computer 40. The supporter B1 and the supporter B2 can select an avatar user who is allowed to be displayed together with the character object from the display request user list displayed on the display of the supporter computer 40. The display request user list may be displayed on the display 39 of the studio room R. The actor A1 may select an avatar user to be displayed together with the character object 51 from the display request user list by operating the controller 33a or the controller 33b.

一実施形態においては、表示要求ユーザリストからあるユーザが選択されたことに応じて当該ユーザを表示要求ユーザリストから削除してもよい。他の実施形態においては、あるユーザのアバタの共演表示が終了したことに応じて、当該ユーザを表示要求ユーザリストから削除してもよい。これにより、一度共演表示されたアバタを繰り返し共演表示することを防止できる。 In one embodiment, the user may be deleted from the display request user list in response to the selection of a user from the display request user list. In another embodiment, the user may be deleted from the display request user list when the co-starring display of the avatar of a user is completed. As a result, it is possible to prevent the avatar that has been co-starred once from being repeatedly co-starred.

一実施形態においては、あるユーザが共演表示されている間、サポーターまたは配信ユーザが表示要求リストから共演表示するユーザを選択する指示をしたとしても、その選択されたユーザのアバタの共演表示が即座に行われなくともよい。また、共演表示が行われるまでは、その選択されたユーザが表示要求リストから削除もされなくてもよい。 In one embodiment, even if a supporter or a distribution user instructs to select a user to be co-starred from the display request list while a user is co-starred, the co-starred display of the selected user's avatar is immediately displayed. It does not have to be done in. Further, the selected user may not be deleted from the display request list until the co-starring display is performed.

共演要求処理部21fは、複数の参加ユーザから共演要求を受け付けた場合、当該複数の参加ユーザから所定の上限数以下の複数のゲストユーザを選定してもよい。 When the co-starring request processing unit 21f receives co-starring requests from a plurality of participating users, the co-starring request processing unit 21f may select a plurality of guest users having a predetermined upper limit or less from the plurality of participating users.

一実施形態において、共演要求処理部21fは、参加ユーザからの共演要求に基づいて当該参加ユーザと配信ユーザとの共演が許可された場合に、当該参加ユーザ(つまり、ゲストユーザ)のクライアント装置10に対して共演が許可されたことを通知する許可通知を送信してもよい。当該許可通知を受信したクライアント装置10は、図7dに示されているように、当該許可通知に基づいて共演が許可されたことを示すメッセージ66bをディスプレイに表示してもよい。この許可通知に基づいて表示されるメッセージ66bによって、ゲストユーザは、自らのアバタが共演動画に含められて配信されることを知ることができる。クライアント装置10は、メッセージ66b以外にも、アイコンの表示、音声通知、振動による通知、及びこれら以外の方法で許可通知を受信したことをゲストユーザに知らせることができる。 In one embodiment, the co-starring request processing unit 21f is a client device 10 of the participating user (that is, a guest user) when co-starring between the participating user and the distribution user is permitted based on the co-starring request from the participating user. You may send a permission notice notifying that the co-starring is permitted. Upon receiving the permission notification, the client device 10 may display a message 66b indicating that the co-starring is permitted based on the permission notification on the display, as shown in FIG. 7d. The message 66b displayed based on this permission notification allows the guest user to know that his / her avatar is included in the co-starring video and delivered. In addition to the message 66b, the client device 10 can notify the guest user that an icon display, a voice notification, a vibration notification, and a permission notification have been received by a method other than these.

ゲストユーザのクライアント装置10は、サーバ装置20から許可通知を受信すると、当該ゲストユーザに対してアバタのパーツの購入を促すことができる。例えば、クライアント装置10は、サーバ装置20から許可通知を受信したことに応じて、アバタのパーツを購入する。 Upon receiving the permission notification from the server device 20, the client device 10 of the guest user can urge the guest user to purchase the avatar parts. For example, the client device 10 purchases avatar parts in response to receiving a permission notification from the server device 20.

ゲストユーザのクライアント装置10においてサーバ装置20から許可通知が受信されると、クライアント装置10は、アバタのパーツの購入を促す表示を行うことができる。例えば、クライアント装置10は、サーバ装置20から許可通知を受信したことに応じて、そのディスプレイに、アバタ本体またはそのパーツを購入するためのウィンドウを表示することができる。ゲストユーザは、当該ウィンドウに表示されているアバタ又はそのパーツの中から購入対象を選択し、実際に購入することができる。アバタ又はそのパーツを購入するためのウィンドウは、サーバ装置20から許可通知を受信したクライアント装置10においてのみ表示されてもよいし、それ以外のクライアント装置10でも表示されてもよい。許可通知を受信したクライアント装置10は、当該許可通知を購入する前と異なる種類のアバタ又はそのパーツを購入することができるウィンドウを表示してもよい。許可通知を受信したクライアント装置10は、例えば、共演動画に適したアバタやパーツを購入するためのウィンドウを表示することができる。 When the permission notification is received from the server device 20 in the client device 10 of the guest user, the client device 10 can display a display prompting the purchase of the avatar parts. For example, the client device 10 can display a window for purchasing the avatar body or its parts on its display in response to receiving the permission notification from the server device 20. The guest user can select the purchase target from the avatar or its parts displayed in the window and actually purchase it. The window for purchasing the avatar or its parts may be displayed only on the client device 10 that has received the permission notification from the server device 20, or may be displayed on the other client devices 10. Upon receiving the permission notice, the client device 10 may display a window in which a different type of avatar or a part thereof can be purchased than before the permission notice was purchased. The client device 10 that has received the permission notification can display, for example, a window for purchasing an avatar or a part suitable for the co-starring video.

一実施形態において、ゲストユーザのクライアント装置10においてサーバ装置20から許可通知が受信されると、クライアント装置10は、いわゆるガチャ機能を当該ゲストユーザに利用可能としてもよい。ゲストユーザは、このガチャ機能を利用することにより、サーバ装置20に対してアバタ又はそのパーツの取得要求を送信し、サーバ装置において当該取得要求に基づいて所定のアルゴリズムで当該ゲストユーザに与えるアバタ又はそのパーツが選択される。この選択されたアバタ又はそのパーツが取得要求を行ったゲストユーザに対して与えられる。このように、ゲストユーザは、ガチャ機能を利用することにより、新たなアバタ又はそのパーツを取得することができる。アバタ又はそのパーツを取得するためのガチャ機能は、サーバ装置20から許可通知を受信したクライアント装置10においてのみ利用可能とされてもよいし、それ以外のクライアント装置10でも利用可能であってもよい。許可通知を受信したクライアント装置10は、ガチャ機能により当該許可通知を購入する前と異なる種類のアバタ又はそのパーツを取得できてもよい。 In one embodiment, when the client device 10 of the guest user receives the permission notification from the server device 20, the client device 10 may make the so-called gacha function available to the guest user. By using this gacha function, the guest user transmits an acquisition request for the avatar or its parts to the server device 20, and the avatar or the guest user is given to the guest user by a predetermined algorithm based on the acquisition request in the server device. The part is selected. This selected avatar or its part is given to the guest user who made the acquisition request. In this way, the guest user can acquire a new avatar or its parts by using the gacha function. The gacha function for acquiring the avatar or its parts may be available only in the client device 10 that has received the permission notification from the server device 20, or may be available in other client devices 10. .. The client device 10 that has received the permission notification may be able to acquire a different type of avatar or a part thereof from before the purchase of the permission notification by the gacha function.

このように、ゲストユーザは、新たなアバタ又はそのパーツを購入したりガチャ機能によって取得することにより、共演の開始前に、共演動画に表示される自らのアバタをアップデイトすることができる。 In this way, the guest user can update his / her own avatar displayed in the co-starring video before the start of the co-starring by purchasing a new avatar or its parts or acquiring it by the gacha function.

一実施形態において、共演要求処理部21fは、参加ユーザからの共演要求に基づいて当該参加ユーザと配信ユーザとの共演が許可された場合に、当該参加ユーザ(すなわち、ゲストユーザ)と配信ユーザとが仮想的に共演する共演動画を生成する。例えば、共演要求処理部21fは、当該ゲストユーザのアバタをキャラクタオブジェクト51と共に動画中に表示させる。共演要求処理部21fは、アバタ制御部21eと同様の処理により、ゲストユーザのアバタを構築し、このゲストユーザのアバタを仮想空間に配置することができる。一実施形態において、共演要求が許可されたゲストユーザのアバタと配信ユーザのキャラクタオブジェクト51とを含む共演動画においては、当該ゲストユーザ以外のアバタ以外の視聴ユーザのアバタは表示されない。この場合、共演要求処理部21fは、複数の視聴ユーザのアバタのうちゲストユーザのアバタのみを仮想空間内に配置する。本明細書においては、共演要求が許可されたゲストユーザのアバタを配信ユーザのキャラクタオブジェクト51とともに表示することを「共演表示」と呼び、共演要求が許可された視聴ユーザのアバタ及び配信ユーザのキャラクタオブジェクト51を含む動画を「共演動画」と呼ぶことがある。 In one embodiment, when the co-starring user and the distribution user are permitted to co-star based on the co-starring request from the participating user, the co-starring request processing unit 21f and the participating user (that is, the guest user) and the distribution user Generates a co-starring video that virtually co-stars. For example, the co-starring request processing unit 21f displays the guest user's avatar together with the character object 51 in the moving image. The co-starring request processing unit 21f can construct the guest user's avatar by the same processing as the avatar control unit 21e, and can arrange the guest user's avatar in the virtual space. In one embodiment, in the co-starring moving image including the guest user's avatar for which the co-starring request is permitted and the character object 51 of the distribution user, the avatar of the viewing user other than the guest user's avatar is not displayed. In this case, the co-starring request processing unit 21f arranges only the guest user's avatar among the plurality of viewing user's avatars in the virtual space. In the present specification, displaying the avatar of the guest user for whom the co-starring request is permitted together with the character object 51 of the distribution user is referred to as "co-starring display", and the avatar of the viewing user and the character of the distribution user for which the co-starring request is permitted are displayed. A moving image including the object 51 may be referred to as a "co-starring moving image".

共演動画の表示例が図7eに示されている。図7eに示されている画像60eには、共演要求を行った第1視聴ユーザのアバタ56aとキャラクタオブジェクト51とが含まれている。図7eに示されている画像60eにおいては、キャラクタオブジェクト51の横に第1視聴ユーザのアバタ56aが表示されている。画像60dには、共演表示が実施されたことを告知するためのメッセージ66cが表示されてもよい。 A display example of the co-starring moving image is shown in FIG. 7e. The image 60e shown in FIG. 7e includes an avatar 56a of the first viewing user and a character object 51 that have requested co-starring. In the image 60e shown in FIG. 7e, the avatar 56a of the first viewing user is displayed next to the character object 51. The image 60d may display a message 66c for notifying that the co-starring display has been performed.

第1視聴ユーザからの共演要求に基づいて当該第1視聴ユーザのアバタ56aがキャラクタオブジェクト51とともに表示される場合には、アバタ56aは3D表示されてもよい。既述のように、アバタ56aは、共演要求を行う前の画像(例えば、画像60b)では2D表示されてもよい。共演要求を行う前に2D表示されていたアバタ56aの表示態様を共演表示において3D表示に変更してもよい。共演表示においてはアバタ56aが3D表示されるため、共演要求を受信した時点よりも前にアバタ56aについての3D表示情報がロードされている場合にのみ、第1視聴ユーザのクライアント装置10aに表示される画像60bにおいて共演申請ボタン64が表示されるようにしてもよい。 When the avatar 56a of the first viewing user is displayed together with the character object 51 based on the co-starring request from the first viewing user, the avatar 56a may be displayed in 3D. As described above, the avatar 56a may be displayed in 2D in the image (for example, the image 60b) before the co-starring request is made. The display mode of the avatar 56a that was displayed in 2D before the co-starring request may be changed to 3D display in the co-starring display. Since the avatar 56a is displayed in 3D in the co-star display, it is displayed on the client device 10a of the first viewing user only when the 3D display information about the avatar 56a is loaded before the time when the co-star request is received. The co-star application button 64 may be displayed in the image 60b.

一実施形態において、3D表示情報がロードされているアバタを使用するユーザ用の画像において共演申請ボタン64を表示させ、3D表示情報がロードされていないアバタを使用するユーザ用の画像においては共演申請ボタン64を表示しないことにより、3D表示情報のランタイムロードが発生しないようにしてサーバ装置20の処理負荷を軽減することができる。一実施形態においては、ランタイムロードに必要な処理負荷の発生を避けるために、ユーザからアバタの共演表示を受け付けた場合に、当該アバタの3D表示情報がロード済か否かを判定し、ロード済である場合にのみ当該アバタの3D表示を行うようにしてもよい。この場合、3D表示情報がロードされているアバタを使用するユーザ用の画像において共演申請ボタン64を表示させる一方で3D表示情報がロードされていないアバタを使用するユーザ用の画像においては共演申請ボタン64を表示しないことにより、無駄な共演要求の送信及び当該共演要求に基づく処理の発生を防ぐことができる。 In one embodiment, the co-star application button 64 is displayed on the image for the user who uses the avatar to which the 3D display information is loaded, and the co-star application is applied for the image for the user who uses the avatar to which the 3D display information is not loaded. By not displaying the button 64, it is possible to reduce the processing load of the server device 20 by preventing the runtime load of the 3D display information from occurring. In one embodiment, in order to avoid the occurrence of the processing load required for the runtime load, when the user accepts the co-starring display of the avatar, it is determined whether or not the 3D display information of the avatar has been loaded, and the avatar has been loaded. The 3D display of the avatar may be performed only in the case of. In this case, the co-star application button 64 is displayed in the image for the user who uses the avatar to which the 3D display information is loaded, while the co-star application button 64 is displayed in the image for the user who uses the avatar to which the 3D display information is not loaded. By not displaying 64, it is possible to prevent unnecessary transmission of the co-starring request and occurrence of processing based on the co-starring request.

アバタを動画に共演表示する場合に、当該アバタの共演表示に関連した演出効果を表示してもよい。例えば、共演表示されるアバタを強調するように、当該アバタにスポットライトが当たっているような演出を行うことができる。共演表示されているアバタの共演表示を終了させる場合にも同様のまたは別の演出効果を表示することができる。 When the avatar is co-starred in the moving image, the effect related to the co-starring display of the avatar may be displayed. For example, it is possible to produce an effect in which the avatar is in the spotlight so as to emphasize the avatar that is co-starred. A similar or different effect can be displayed when the co-starring display of the co-starring display is terminated.

共演要求処理部21fは、第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に動画に表示されてからの経過時間を計測してもよい。共演要求処理部21fは、当該経過時間を画像60dに表示してもよい。一実施形態においては、共演要求に基づいてキャラクタオブジェクト51とユーザのアバタとがともに表示される時間(あるアバタについて共演表示がなされる時間)の上限が設定されていてもよい。共演要求処理部21fは、当該上限となる時間を画像60dに表示してもよい。共演要求処理部21fは、当該上限となる時間と、第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に動画に表示してからの経過時間とに基づいて、アバタ56aを表示可能な残り時間を計算し、当該残り時間を画像60dに表示してもよい。第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に動画に表示されてからの経過時間、アバタ56aに設定された表示時間の上限、アバタ56aを表示可能な残り時間は、第1視聴ユーザのクライアント装置10aに表示されている画像60dのみに含められてもよく、第1視聴ユーザ及びその他のユーザのクライアント装置に表示されている画像60dに含められてもよい。共演表示が行われる時間の上限を設定することにより、より多くの視聴ユーザに配信ユーザと共演する機会を提供することができる。また、実行中の共演表示の残り時間を表示することにより、視聴ユーザに対して次のアバタが共演表示されるまでの時間を知らせることができる。 The co-starring request processing unit 21f may measure the elapsed time since the first viewing user's avatar 56a is displayed in the moving image together with the character object 51. The co-starring request processing unit 21f may display the elapsed time on the image 60d. In one embodiment, an upper limit of the time during which the character object 51 and the user's avatar are displayed together (the time during which the co-starring is displayed for a certain avatar) may be set based on the co-starring request. The co-starring request processing unit 21f may display the upper limit time on the image 60d. The co-starring request processing unit 21f calculates the remaining time during which the avatar 56a can be displayed based on the upper limit time and the elapsed time since the first viewing user's avatar 56a is displayed in the moving image together with the character object 51. Then, the remaining time may be displayed on the image 60d. The elapsed time since the avatar 56a of the first viewing user is displayed in the moving image together with the character object 51, the upper limit of the display time set in the avatar 56a, and the remaining time during which the avatar 56a can be displayed are the client devices of the first viewing user. It may be included only in the image 60d displayed on the 10a, or may be included in the image 60d displayed on the client device of the first viewing user and other users. By setting an upper limit of the time during which the co-starring display is performed, it is possible to provide more viewing users with an opportunity to co-star with the distribution user. In addition, by displaying the remaining time of the co-starring display during execution, it is possible to inform the viewing user of the time until the next avatar is co-starring displayed.

共演要求処理部21fは、動画の配信ユーザ又はそれ以外のオペレータからの指示に基づいて、当該動画に参加しているアバタを当該動画から排除することができる。排除されたアバタは、当該動画の画面に表示されなくなる。同様に、共演要求処理部21fは、動画の配信ユーザ又はそれ以外のオペレータからの指示に基づいて、共演表示されているアバタを当該共演表示から排除することができる。排除されたアバタは、当該共演表示の画面に表示されなくなる。配信ユーザは、例えば、動画内で望ましくないコメントを行ったアバタ、動画内で望ましくない行動をとったアバタ、それ以外の動画に参加させておくことが望ましくないアバタを当該動画から及び/又は共演表示の画面から排除することができる。 The co-starring request processing unit 21f can exclude the avatars participating in the moving image from the moving image based on the instruction from the moving image distribution user or other operators. The excluded avatar will not be displayed on the screen of the video. Similarly, the co-starring request processing unit 21f can exclude the co-starring avatar from the co-starring display based on an instruction from the video distribution user or another operator. The excluded avatar will not be displayed on the screen of the co-starring display. The distribution user, for example, avatars who made undesired comments in the video, avatars who took undesired actions in the video, and avatars who are not desirable to participate in other videos are and / or co-starred from the video. It can be excluded from the display screen.

一実施形態において、アバタ制御部21eは、ゲストユーザのアバタの動きを、当該ユーザからの指示に基づいて制御することができる。例えば、アバタ制御部21eは、共演表示されているアバタのユーザからのエモーション表示要求を受け付け、当該エモーション表示要求に基づいて、当該アバタの行動を制御することができる。アバタ制御部21eは、共演動画の配信中に当該共演動画で配信ユーザと共演しているゲストユーザのクライアント装置10から送信されたフェイスモーションデータやボディモーションデータを用いてアバタの動きを制御するようにしてもよい。アバタ制御部21eは、共演動画の配信中に当該共演動画で配信ユーザと共演しているゲストユーザのクライアント装置10から送信された音声データを用いてアバタに発声させてもよい。 In one embodiment, the avatar control unit 21e can control the movement of the guest user's avatar based on an instruction from the user. For example, the avatar control unit 21e can receive an emotion display request from a user of the avatar who is co-starring and display, and can control the action of the avatar based on the emotion display request. The avatar control unit 21e controls the movement of the avatar by using the face motion data and the body motion data transmitted from the client device 10 of the guest user who is co-starring with the distribution user in the co-starring video during the distribution of the co-starring video. You may do it. The avatar control unit 21e may make the avatar utter using the voice data transmitted from the client device 10 of the guest user who is co-starring with the distribution user in the co-starring video during the distribution of the co-starring video.

共演要求には、図6に示されるように、共演要求を行う参加ユーザを識別するユーザIDに対応付けて、メッセージデータ及びモーションデータの少なくとも一方が含まれていてもよい。アバタ制御部21eは、共演要求に含まれているメッセージデータに基づいて、ゲストユーザのアバタに動画内で当該メッセージデータに対応するメッセージを発声させてもよい。このメッセージとしては、例えば、「こんにちは」といった挨拶が考えられる。メッセージデータに基づいてテキストメッセージを生成し、当該共演要求を行った参加ユーザのアバタと対応付けて当該テキストメッセージを表示させてもよい。メッセージデータは、複数のメッセージに対応するデータであってもよい。 As shown in FIG. 6, the co-starring request may include at least one of message data and motion data in association with a user ID that identifies a participating user who makes a co-starring request. The avatar control unit 21e may cause the guest user avatar to utter a message corresponding to the message data in the moving image based on the message data included in the co-starring request. As this message, for example, a greeting such as "Hello" can be considered. A text message may be generated based on the message data, and the text message may be displayed in association with the avatar of the participating user who made the co-starring request. The message data may be data corresponding to a plurality of messages.

モーションデータは、フェイスモーションデータ及びボディモーションデータの少なくとも一方を含むことができる。共演要求に含まれるモーションデータは、クライアント装置10が備えるセンサユニットによって取得されてもよいし、クライアント装置10とは別のセンシング装置により取得されてもよい。アバタ制御部21eは、共演要求に含まれているモーションデータに基づいてゲストユーザのアバタの動きを制御してもよい。モーションデータは、例えば、アバタが右手を振って挨拶するというアバタの動きを表すデータである。モーションデータは、アバタの一連の動きのセットを表すデータであってもよい。アバタの一連の動きのセットは、例えば、アバタが手を振るという動きと、その後に当該アバタがお辞儀をするという動きとのセットである。 The motion data can include at least one of face motion data and body motion data. The motion data included in the co-starring request may be acquired by the sensor unit included in the client device 10, or may be acquired by a sensing device different from the client device 10. The avatar control unit 21e may control the movement of the guest user's avatar based on the motion data included in the co-starring request. The motion data is data representing, for example, the movement of the avatar in which the avatar waving his right hand to greet him. The motion data may be data representing a set of avatar movements. A set of avatar movements is, for example, a set of avatar waving and then the avatar bowing.

一実施形態において、配信ユーザとの共演要求を送信したが共演が拒否された参加ユーザに対しては、当該参加ユーザのアバタと当該配信ユーザのキャラクタオブジェクト51とを含む画像(2ショット画像)を与えてもよい。共演要求処理部21fは、例えば、第1視聴ユーザからの共演要求が拒否された場合には、仮に共演要求が許可された場合に生成される動画フレームと同じ動画フレームを生成し、この動画フレームを表す動画ファイルを共演が拒否された第1視聴ユーザのクライアント装置10に送信してもよい。この動画フレームは、共演要求が拒否された第1視聴ユーザのクライアント装置10にのみ送信され、他の視聴ユーザのクライアント装置10には配信されない。この動画フレームは、例えば、図7eに示されている画像60eに相当する(ただし、メッセージ66cや操作ボタン61、62、68は含まれない。これにより、配信ユーザとの共演が拒否された参加ユーザに対しても、配信ユーザとのつながりを感じるためのコンテンツを提供することができる。この配信ユーザのキャラクタオブジェクト51との2ショット画像は、動画への参加要求を行ったものの当該参加要求が拒否された視聴ユーザに対して送信してもよい。 In one embodiment, for a participating user who has transmitted a co-starring request with the distribution user but the co-starring is rejected, an image (two-shot image) including the avatar of the participating user and the character object 51 of the distribution user is provided. May be given. For example, when the co-starring request from the first viewing user is rejected, the co-starring request processing unit 21f generates the same video frame as the video frame generated when the co-starring request is permitted, and this video frame is generated. The moving image file representing the above may be transmitted to the client device 10 of the first viewing user whose co-starring is refused. This moving image frame is transmitted only to the client device 10 of the first viewing user whose co-starring request is rejected, and is not distributed to the client device 10 of another viewing user. This video frame corresponds to, for example, the image 60e shown in FIG. 7e (however, the message 66c and the operation buttons 61, 62, 68 are not included, so that the participation with which the co-starring with the distribution user is refused is rejected. It is possible to provide the user with content for feeling the connection with the distribution user. Although the two-shot image with the character object 51 of the distribution user is requested to participate in the video, the participation request is made. It may be sent to the rejected viewing user.

続いて、図8を参照して、一態様による動画配信処理について説明する。図8は、一実施形態における動画配信処理の流れを示すフロー図である。動画配信処理においては、スタジオルームRにアクターA1が在室していることが想定されている。 Subsequently, with reference to FIG. 8, a moving image distribution process according to one aspect will be described. FIG. 8 is a flow chart showing the flow of the moving image distribution process in one embodiment. In the video distribution process, it is assumed that the actor A1 is present in the studio room R.

まず、ステップS11では、アクターA1の体の動きのデジタル表現であるボディモーションデータと、アクターA1の顔の動き(表情)のデジタル表現であるフェイスモーションデータと、が生成される。ボディモーションデータ及びフェイスモーションデータは、例えば、アクターA1に装着されているモーションセンサ31a〜31fの検出情報、デジタルカメラ36aが撮像した撮像情報、及び必要に応じてこれら以外のスタジオルームRに設定された各種機器が検出する情報に基づいて生成される。 First, in step S11, body motion data that is a digital representation of the body movement of the actor A1 and face motion data that is a digital representation of the face movement (facial expression) of the actor A1 are generated. The body motion data and face motion data are set in, for example, the detection information of the motion sensors 31a to 31f mounted on the actor A1, the imaging information captured by the digital camera 36a, and the studio room R other than these as necessary. It is generated based on the information detected by various devices.

次に、ステップS12において、アクターA1のボディモーションデータ及びフェイスモーションデータを、アクターA1用のモデルデータに適用することにより、アクターA1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションが生成される。 Next, in step S12, by applying the body motion data and face motion data of the actor A1 to the model data for the actor A1, an animation of a character object that moves in synchronization with the movement of the body and facial expression of the actor A1 is generated. Will be done.

次に、ステップS13において、仮想空間の画像と、アクターA1に対応するキャラクタオブジェクトのアニメーションと、を含む3次元動画データが生成される。この動画情報には、アクターA1の音声が含まれてもよい。また、この3次元動画データがレンダリングされて動画が生成される。この動画は、動画フレームのシーケンスであってもよい。この動画の生成は、例えば、上記の動画生成部21aで行われる。 Next, in step S13, three-dimensional moving image data including an image of the virtual space and an animation of the character object corresponding to the actor A1 is generated. This moving image information may include the sound of the actor A1. Further, the three-dimensional moving image data is rendered to generate a moving image. This moving image may be a sequence of moving image frames. This moving image is generated, for example, by the moving image generation unit 21a described above.

次に、ステップS14に移行し、ステップS13にて生成された動画が配信される。この動画は、ネットワーク15を介してクライアント装置10a〜クライアント装置10c及びこれら以外のクライアント装置に配信される。この動画は、サポーターコンピュータ40に配信され、また、スタジオルームR内のスクリーンSに投影されてもよい。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、30秒間、1分間、5分間、10分、30分間、60分間、120分間、及びこれら以外の任意の時間に定め得る。 Next, the process proceeds to step S14, and the moving image generated in step S13 is distributed. This moving image is distributed to the client devices 10a to 10c and other client devices via the network 15. This moving image may be distributed to the supporter computer 40 and projected on the screen S in the studio room R. The video is continuously distributed over a predetermined distribution period. The video distribution period can be set to, for example, 30 seconds, 1 minute, 5 minutes, 10 minutes, 30 minutes, 60 minutes, 120 minutes, and any other time.

次に、ステップS15に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、サポーターコンピュータ40により配信を終了するための指示がなされたこと、またはこれら以外の条件である。終了条件が成就していなければステップS11〜S14の処理が繰り返し実行され、アクターA1の動きに同期したアニメーションを含む動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。 Next, the process proceeds to step S15, and it is determined whether or not the termination condition for terminating the distribution of the moving image is satisfied. The end condition is, for example, that the end time of the distribution has been reached, that the supporter computer 40 has given an instruction to end the distribution, or other conditions. If the end condition is not satisfied, the processes of steps S11 to S14 are repeatedly executed, and the distribution of the moving image including the animation synchronized with the movement of the actor A1 is continued. If it is determined that the end condition for the video is satisfied, the distribution process of the video is terminated.

続いて、図9を参照して、一態様による参加要求処理について説明する。図9は、一実施形態における参加要求処理の流れを示すフロー図である。図9の参加要求処理においては、サーバ装置20から配信された動画をクライアント装置10aによって視聴している第1視聴ユーザから当該動画への参加を求める参加要求されたことが想定されている。参加要求処理は、図8に示されている動画の配信処理と並行して行われてもよい。 Subsequently, with reference to FIG. 9, the participation request processing according to one aspect will be described. FIG. 9 is a flow chart showing a flow of participation request processing in one embodiment. In the participation request processing of FIG. 9, it is assumed that the first viewing user who is viewing the moving image distributed from the server device 20 by the client device 10a requests participation in the moving image. The participation request processing may be performed in parallel with the video distribution processing shown in FIG.

まず、ステップS16において、第1視聴ユーザのクライアント装置10から視聴中の動画への参加を要求する参加要求が受け付けられる。参加要求は、第1視聴ユーザによってクライアント装置10aに表示されている参加要求ボタン63が選択されたことに応じて、クライアント装置10aからサーバ装置20に送信される。 First, in step S16, a participation request requesting participation in the moving image being viewed is received from the client device 10 of the first viewing user. The participation request is transmitted from the client device 10a to the server device 20 in response to the selection of the participation request button 63 displayed on the client device 10a by the first viewing user.

次に、ステップS16において、第1視聴ユーザからの参加要求が許可されるか否かが判定される。この判定は、例えば、上記の参加要求処理部21cにより行われる。 Next, in step S16, it is determined whether or not the participation request from the first viewing user is permitted. This determination is made, for example, by the participation request processing unit 21c described above.

参加要求が許可されると参加要求処理はステップS18に進む。ステップS18では、第1視聴ユーザのアバタ56aが仮想空間50の所定の位置に配置される。これにより、仮想カメラの描画領域にアバタ56aが配置された位置が含まれる場合には、第1視聴ユーザのアバタ56aが配信される動画に含められる。アバタ56aを動画へ含めるための処理は、例えば、上記のアバタ表示部21dにより行われる。 If the participation request is approved, the participation request processing proceeds to step S18. In step S18, the avatar 56a of the first viewing user is arranged at a predetermined position in the virtual space 50. As a result, when the position where the avatar 56a is arranged is included in the drawing area of the virtual camera, the avatar 56a of the first viewing user is included in the delivered moving image. The process for including the avatar 56a in the moving image is performed by, for example, the above-mentioned avatar display unit 21d.

参加要求が許可されない(拒否される)と、第1視聴ユーザのアバタ56aの表示を行わずに参加要求処理を終了する。 If the participation request is not permitted (rejected), the participation request processing ends without displaying the avatar 56a of the first viewing user.

第1視聴ユーザが参加要求を行った場合を例に参加要求処理を説明したが、サーバ装置20は、動画の配信中に複数の視聴ユーザから参加要求を随時受け付けることができる。よって、サーバ装置20は、複数の参加要求の各々に関して上記の参加要求処理を実行することができる。このようにして、サーバ装置20は、動画への参加要求を行った複数の視聴ユーザの中から複数の参加ユーザを選定することができる。 Although the participation request processing has been described by taking the case where the first viewing user makes a participation request as an example, the server device 20 can receive the participation request from a plurality of viewing users at any time during the distribution of the moving image. Therefore, the server device 20 can execute the above-mentioned participation request processing for each of the plurality of participation requests. In this way, the server device 20 can select a plurality of participating users from a plurality of viewing users who have requested participation in the moving image.

次に、図10を参照して、一実施形態における共演動画の配信処理について説明する。図10は、一実施形態において共演動画を配信する処理の流れを示すフロー図である。図10を参照して説明される共演動画の配信処理においては、配信ユーザのキャラクタオブジェクトを含む動画を視聴している視聴ユーザから当該配信ユーザに対して共演要求がなされることが想定されている。共演動画の配信処理は、図8に示されている動画の配信処理及び図9に示されている参加要求処理と並行して行われてもよい。 Next, with reference to FIG. 10, the distribution process of the co-starring moving image in one embodiment will be described. FIG. 10 is a flow chart showing a flow of processing for distributing a co-starring moving image in one embodiment. In the distribution process of the co-starring video described with reference to FIG. 10, it is assumed that the viewing user who is viewing the video including the character object of the distribution user makes a co-starring request to the distribution user. .. The co-starring moving image distribution process may be performed in parallel with the moving image distribution process shown in FIG. 8 and the participation request processing shown in FIG.

まず、ステップS21において、配信ユーザのキャラクタオブジェクトを含む動画の配信中に、当該動画への参加が許可されている視聴ユーザ(参加ユーザ)から共演要求がなされたか否かが判定される。共演要求は、例えば第1視聴ユーザからなされる。第1視聴ユーザによって共演要求がなされた場合には、処理はステップS22に進む。 First, in step S21, it is determined whether or not a co-starring request has been made by a viewing user (participating user) who is permitted to participate in the video during distribution of the video including the character object of the distribution user. The co-starring request is made, for example, by the first viewing user. When the co-starring request is made by the first viewing user, the process proceeds to step S22.

ステップS22では、共演を申請した第1視聴ユーザからの共演要求に基づいて、当該第1視聴ユーザと配信ユーザとの共演を許可するか否かが判定される。共演要求を許可するか否かの判定は、例えば、共演要求処理部21fにより行われる。第1視聴ユーザと配信ユーザとの共演が許可された場合には、処理はステップS23に進む。 In step S22, it is determined whether or not to allow the co-starring of the first viewing user and the distribution user based on the co-starring request from the first viewing user who applied for the co-starring. For example, the co-starring request processing unit 21f determines whether or not to allow the co-starring request. If the co-starring of the first viewing user and the distribution user is permitted, the process proceeds to step S23.

ステップS23では、配信ユーザとの共演が許可された第1視聴ユーザのクライアント装置10に対して、共演が許可されたことを通知する許可通知が送信される。許可通知の送信は、例えば、共演要求処理部21fにより行われる。第1視聴ユーザのクライアント装置10は、当該許可通知に基づいて共演が許可されたことを示すメッセージ66bをディスプレイに表示してもよい。この許可通知に基づいて表示されるメッセージ66bによって、第1視聴ユーザは、自らのアバタが共演動画に含められることを知ることができ、アバタの更新などの共演のための準備を行うことができる。 In step S23, a permission notification notifying that the co-starring is permitted is transmitted to the client device 10 of the first viewing user who is permitted to co-star with the distribution user. The permission notification is transmitted, for example, by the co-starring request processing unit 21f. The client device 10 of the first viewing user may display a message 66b indicating that the co-starring is permitted based on the permission notification on the display. The message 66b displayed based on this permission notification allows the first viewing user to know that his / her avatar is included in the co-starring video, and to prepare for co-starring such as updating the avatar. ..

続いて、ステップS24では、配信ユーザのキャラクタオブジェクトと第1視聴ユーザのアバタとを含む共演動画が生成される。ステップS24における共演動画の生成は、例えば、上記の共演要求処理部21fで行われる。 Subsequently, in step S24, a co-starring moving image including the character object of the distribution user and the avatar of the first viewing user is generated. The generation of the co-starring moving image in step S24 is performed, for example, by the co-starring request processing unit 21f described above.

次に、処理は、ステップS25に移行する。ステップS25では、ステップS24にて生成された共演動画が配信される。この共演動画は、ネットワーク50を介してクライアント装置10及びこれら以外のクライアント装置並びに配信ユーザ装置に配信される。共演動画には、例えば、図7eに示されているように、第1視聴ユーザのキャラクタオブジェクト56a及び配信ユーザのキャラクタオブジェクト51が含まれる。 Next, the process proceeds to step S25. In step S25, the co-starring moving image generated in step S24 is distributed. This co-starring moving image is distributed to the client device 10 and other client devices and the distribution user device via the network 50. The co-starring moving image includes, for example, the character object 56a of the first viewing user and the character object 51 of the distribution user, as shown in FIG. 7e.

次に、処理は、ステップS26に移行する。ステップS26では、共演終了条件が満たされたか否かが判定される。例えば、共演動画の配信開始から所定時間以上が経過した場合に共演終了条件が満たされたと判定される。共演終了条件が満たされた場合には、処理はステップS27に進む。 Next, the process proceeds to step S26. In step S26, it is determined whether or not the co-starring end condition is satisfied. For example, when a predetermined time or more has passed from the start of distribution of the co-starring video, it is determined that the co-starring end condition is satisfied. If the co-starring end condition is satisfied, the process proceeds to step S27.

ステップS27では、共演動画の配信を終了させるための処理が行われる。例えば、共演動画から、仮想空間からゲストユーザである第1視聴ユーザのキャラクタオブジェクト51を除外することで、第1視聴ユーザと配信ユーザとの共演を終了させる。共演が終了した後に配信される動画には、第1視聴ユーザのキャラクタオブジェクト51が含まれない。複数のゲストユーザが選定されている場合には、第1視聴ユーザと配信ユーザとの共演が終了した後に、当該第1視聴ユーザ以外のゲストユーザと配信ユーザとの共演が開始されてもよい。全てのゲストユーザとの共演が終了した場合でも、動画は継続して配信されてもよい。上記の共演終了条件の判定及び共演の終了処理は、例えば、共演終了処理部61fにより行われる。 In step S27, a process for terminating the distribution of the co-starring moving image is performed. For example, by excluding the character object 51 of the first viewing user who is the guest user from the co-starring video, the co-starring of the first viewing user and the distribution user is terminated. The moving image delivered after the co-starring is finished does not include the character object 51 of the first viewing user. When a plurality of guest users are selected, the co-starring of the guest user other than the first viewing user and the distribution user may be started after the co-starring of the first viewing user and the distribution user is completed. Even if the co-starring with all the guest users is finished, the video may be continuously distributed. The determination of the co-starring end condition and the co-starring end processing are performed by, for example, the co-starring end processing unit 61f.

以上の実施形態によって奏される作用効果について説明する。上記の一実施形態における動画配信システム1によれば、配信されている動画を視聴している視聴ユーザの全てから共演要求を受け付けるのではなく、当該動画への参加を要求して当該動画への参加要求が認められた参加ユーザのみから共演要求を受け付けるように構成される。例えば、動画への参加が許可された視聴ユーザ(すなわち、参加ユーザ)のクライアント装置10において共演要求を行うための機能をアクティベートし、当該動画への参加が許可されていない視聴ユーザのクライアント装置10においては共演要求を行うための機能をアクティベートしないことにより、参加ユーザのみから共演要求を受け付けることができる。これにより、視聴ユーザの数が多くなっても、クライアント装置10から受け付ける共演要求の数を抑制することができる。 The action and effect produced by the above embodiments will be described. According to the video distribution system 1 in the above embodiment, the video distribution system 1 does not accept co-starring requests from all the viewing users who are watching the distributed video, but requests participation in the video to the video. It is configured to accept co-starring requests only from participating users whose participation requests have been approved. For example, the client device 10 of the viewing user (that is, the participating user) who is permitted to participate in the video activates the function for making a co-starring request, and the client device 10 of the viewing user who is not permitted to participate in the video is activated. By not activating the function for making a co-star request, the co-star request can be accepted only from the participating users. As a result, even if the number of viewing users increases, the number of co-starring requests received from the client device 10 can be suppressed.

上記の一実施形態においては、動画を視聴する複数の視聴ユーザ全体のうち当該動画への参加が許可された参加ユーザ以外の視聴ユーザに対しては、サーバ装置20から当該参加ユーザの選定に関する通知が送信されない。一実施形態においては、動画を視聴する複数の視聴ユーザ全体のうち当該動画への参加が許可された参加ユーザのクライアント装置10に対してのみ当該参加ユーザの選定に関する通知が送信される。これにより、サーバ装置220において、参加を許可するか否かの判定を行った結果に関する通知を生成し送信する処理負荷が軽減され、また、通信トラフィックを低減することができる。 In the above embodiment, the server device 20 notifies the viewing users other than the participating users who are permitted to participate in the video among the plurality of viewing users who view the video, regarding the selection of the participating users. Is not sent. In one embodiment, the notification regarding the selection of the participating user is transmitted only to the client device 10 of the participating user who is permitted to participate in the moving image among the plurality of viewing users who view the moving image. As a result, the processing load of generating and transmitting the notification regarding the result of determining whether or not to allow participation in the server device 220 can be reduced, and the communication traffic can be reduced.

上記の一実施形態においては、動画への参加を要求して拒否されたユーザに対しては、その拒否された旨の通知がなされない。この場合、参加要求を行った視聴ユーザは、配信される動画に自らのキャラクタオブジェクト(アバタ)が含まれているか否かを確認することにより、自らの参加要求が許可されたか否かを知ることができる。つまり、配信された動画に自らのアバタが含まれていれば参加が許可されたことが分かり、配信された動画に自らのアバタが含まれていなければ参加が許可されなかったことがわかる。このように、上記の一実施形態においては、サーバ装置20から参加ユーザのアバタを含む動画を配信することにより、当該動画以外の通知を追加的に送信しなくても、参加要求が拒否された視聴ユーザも含む全ての視聴ユーザに対して参加要求が許可されたか否かを知らしめることができる。つまり、上記の一実施形態においては、動画以外の通知を送信することなく、参加要求が拒否された視聴ユーザに対しても参加要求が許可されたか否かを知らせることができる。また、参加ユーザのアバタを含む動画を通じて参加要求が許可されたか否かを知らせることにより、参加要求を行った視聴ユーザの注意や関心を配信されている動画に引きつけることができる。人気がある配信ユーザの動画については、視聴ユーザの数が膨大となる可能性がある。この場合には、視聴ユーザ全員に対して参加ユーザの選定に関する通知を行わないことによるサーバ装置20の処理負荷の軽減効果が大きくなる。 In the above embodiment, the user who requests to participate in the video and is refused is not notified of the refusal. In this case, the viewing user who made the participation request knows whether or not his / her participation request is permitted by confirming whether or not his / her character object (avatar) is included in the delivered video. Can be done. In other words, if the delivered video contains your own avatar, you know that you are allowed to participate, and if the delivered video does not contain your own avatar, you know that you were not allowed to participate. As described above, in the above embodiment, by distributing the moving image including the avatar of the participating user from the server device 20, the participation request is rejected without additionally transmitting the notification other than the moving image. It is possible to notify all viewing users including the viewing user whether or not the participation request is permitted. That is, in the above embodiment, it is possible to notify the viewing user whose participation request is rejected whether or not the participation request is permitted without transmitting a notification other than the moving image. In addition, by notifying whether or not the participation request is permitted through the video including the avatar of the participating user, it is possible to attract the attention and interest of the viewing user who made the participation request to the distributed video. For videos of popular distribution users, the number of viewing users can be enormous. In this case, the effect of reducing the processing load of the server device 20 is increased by not notifying all the viewing users regarding the selection of the participating users.

上記の一実施形態においては、サーバ装置20から参加ユーザのクライアント装置10に対して、当該クライアント装置10において当該参加ユーザが共演要求を行うための機能をアクティベートするためのコマンドが送信される。これにより、視聴ユーザ全体のうち参加ユーザのクライアント装置10において共演要求を行うことが可能となり、参加が許可されなかった視聴ユーザのクライアント装置10においては共演要求を行うことができない。よって、共演要求を行うことができるユーザの数が視聴ユーザ全体よりも少なくなるので、サーバ装置20において共演要求を処理するための処理負荷を低減することができる。共演要求に基づく共演可否の決定が配信ユーザによる選定に委ねられる場合には、配信ユーザによる決定の手間を軽減することができる。 In the above embodiment, the server device 20 transmits a command to the client device 10 of the participating user to activate the function for the participating user to make a co-starring request in the client device 10. As a result, it is possible to make a co-starring request on the client device 10 of the participating user among all the viewing users, and it is not possible to make a co-starring request on the client device 10 of the viewing user who is not permitted to participate. Therefore, since the number of users who can make the co-starring request is smaller than that of the entire viewing user, the processing load for processing the co-starring request in the server device 20 can be reduced. When the decision on whether or not to allow co-starring based on the co-starring request is left to the selection by the distribution user, the time and effort of the decision by the distribution user can be reduced.

上記の一実施形態において、共演要求は、当該共演要求を行う参加ユーザからのメッセージを示すメッセージデータを含んでもよい。共演要求は、当該共演要求を行う参加ユーザのアバタの動きを指定するモーションデータを含んでもよい。共演要求にメッセージデータやモーションデータを含めることにより、共演動画の配信中にゲストユーザが特段の操作を行わなくとも、メッセージデータやモーションデータの形式で共演開始前に提供されたデータに基づいて、当該ゲストユーザの動きや音声を制御することができる。 In one embodiment described above, the co-starring request may include message data indicating a message from a participating user who makes the co-starring request. The co-starring request may include motion data that specifies the movement of the avatar of the participating user who makes the co-starring request. By including the message data and motion data in the co-starring request, the guest user does not have to perform any special operation during the distribution of the co-starring video, based on the data provided before the start of the co-starring in the form of message data or motion data. The movement and voice of the guest user can be controlled.

本発明の実施形態は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で様々な変更が可能である。例えば、配信される動画は、スタジオルームR以外で撮影及び生成されてもよい。例えば、配信される動画を生成するための撮影は、アクターやサポーターの自宅で行われてもよい。クライアント装置10aは、アバタ56aとキャラクタオブジェクト51とがともに表示されている画像(例えば、画像60e)を他の通信装置に送信する機能を有していてもよい。例えば、第1視聴ユーザは、クライアント装置10aの機能を利用してアバタ56aとキャラクタオブジェクト51とがともに表示されている画像を、サーバ装置20が提供する動画サービス内のソーシャルネットワーキングサービス又はサーバ装置20が提供する動画サービスとは異なるソーシャルネットワーキングサービスにおいて配信することができる。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist thereof. For example, the delivered moving image may be shot and generated in a place other than the studio room R. For example, the shooting for generating the delivered video may be performed at the home of the actor or supporter. The client device 10a may have a function of transmitting an image (for example, an image 60e) in which both the avatar 56a and the character object 51 are displayed to another communication device. For example, the first viewing user uses the function of the client device 10a to display an image in which both the avatar 56a and the character object 51 are displayed on the social networking service or the server device 20 in the video service provided by the server device 20. It can be distributed on a social networking service that is different from the video service provided by.

上記のとおり、コンピュータプロセッサ21により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21により実現される機能の少なくとも一部は、例えば、クライアント装置10a〜10cのいずれかに備えられるコンピュータプロセッサにより実現されてもよい。例えば、動画生成部21a、動画配信部21b、参加要求処理部21c、アバタ表示部21d、アバタ制御部21e、及び共演要求処理部21fの機能の一部又は全部は、クライアント装置10a〜10cにおいて実行されてもよい。具体的には、クライアント装置10a〜10cのいずれかにおいて生成された動画がサーバ装置20に送信され、サーバ装置20からクライアント装置10a〜10cに配信されてもよい。 As described above, at least a part of the functions realized by the computer processor 21 may be realized by a computer processor other than the computer processor 21 of the moving image distribution system 1. At least a part of the functions realized by the computer processor 21 may be realized by the computer processor provided in any of the client devices 10a to 10c, for example. For example, some or all of the functions of the moving image generation unit 21a, the moving image distribution unit 21b, the participation request processing unit 21c, the avatar display unit 21d, the avatar control unit 21e, and the co-starring request processing unit 21f are executed by the client devices 10a to 10c. May be done. Specifically, the moving image generated by any of the client devices 10a to 10c may be transmitted to the server device 20 and distributed from the server device 20 to the client devices 10a to 10c.

配信ユーザのキャラクタオブジェクト51を含む動画をクライアント装置10aで視聴している視聴ユーザから当該キャラクタオブジェクト51(又はその配信ユーザ)との共演申請がなされる場合には、共演申請を行った視聴ユーザのアバタ56aのアニメーションは、サーバ装置20又はクライアント装置10aのいずれで生成されてもよい。また、キャラクタオブジェクト51をと視聴ユーザのアバタ56aとを含む共演動画の生成は、サーバ装置20又はクライアント装置10aのいずれで行われてもよい。共演動画は、サーバ装置20、クライアント装置10a、及びこれら以外の装置により分担して生成されてもよい。配信ユーザのキャラクタオブジェクト51と視聴ユーザのアバタ56aとを含む共演動画がクライアント装置10aにおいて生成される場合には、サーバ装置20又はスタジオユニット30からクライアント装置10aに対して配信ユーザのモーションデータ及び音声データがクライアント装置10aに送信されてもよい。クライアント装置10aでは、受信した配信ユーザのモーションデータを当該配信ユーザ用のモデルデータに適用することでキャラクタオブジェクト51のアニメーションが生成される。この配信ユーザのモデルデータは、サーバ装置20又はスタジオユニット30からクライアント装置10aへ送信されてもよい。クライアント装置10aによって生成される共演動画にギフトオブジェクトが含められる場合には、サーバ装置20又はギフティングを行った視聴ユーザのクライアント装置から当該ギフトオブジェクトを表示するためのデータが当該クライアント装置10aへ送信されてもよい。このように、共演動画は、動画配信システム1に含まれる任意の装置で生成され得る。キャラクタオブジェクトのアニメーションは、図1に明示的に示されていない装置で生成されてもよい。キャラクタオブジェクト51とアバタ56aを含む共演動画を生成する装置には、当該キャラクタオブジェクト51に対応する配信ユーザ及びアバタ56aに対応する視聴ユーザのモーションデータ及び音声データが送信される。 When a viewing user who is viewing a moving image including the character object 51 of the distribution user on the client device 10a applies for co-starring with the character object 51 (or its distribution user), the viewing user who has applied for co-starring The animation of the avatar 56a may be generated by either the server device 20 or the client device 10a. Further, the generation of the co-starring moving image including the character object 51 and the viewing user's avatar 56a may be performed by either the server device 20 or the client device 10a. The co-starring moving image may be shared and generated by the server device 20, the client device 10a, and other devices. When the co-starring moving image including the character object 51 of the distribution user and the avatar 56a of the viewing user is generated in the client device 10a, the motion data and audio of the distribution user are generated from the server device 20 or the studio unit 30 to the client device 10a. The data may be transmitted to the client device 10a. In the client device 10a, the animation of the character object 51 is generated by applying the received motion data of the distribution user to the model data for the distribution user. The model data of the distribution user may be transmitted from the server device 20 or the studio unit 30 to the client device 10a. When a gift object is included in the co-starring video generated by the client device 10a, data for displaying the gift object is transmitted from the server device 20 or the client device of the viewing user who performed the gifting to the client device 10a. May be done. In this way, the co-starring moving image can be generated by any device included in the moving image distribution system 1. Animations of character objects may be generated by devices not explicitly shown in FIG. Motion data and audio data of the distribution user corresponding to the character object 51 and the viewing user corresponding to the avatar 56a are transmitted to the device for generating the co-starring moving image including the character object 51 and the avatar 56a.

本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程(ステップ)の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び/又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。 In the processing procedure described in the present specification, particularly the processing procedure described using the flow chart, a part of the steps (steps) constituting the processing procedure is omitted, as a step constituting the processing procedure. It is possible to add steps that are not specified and / or to change the order of the steps, and the processing procedure in which such omissions, additions, and changes in order are made does not deviate from the gist of the present invention. It is included in the scope of the invention.

1 動画配信システム
10 クライアント装置
20 サーバ装置
1 Video distribution system 10 Client device 20 Server device

Claims (9)

一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
配信ユーザの動きに基づいて生成される第1キャラクタオブジェクトを含む動画を複数の視聴ユーザの各々のクライアント装置に配信し、
前記複数の視聴ユーザから前記動画への参加要求を受け付けたことに応じて、前記複数の視聴ユーザの中から複数の参加ユーザを選定し、
前記複数の参加ユーザの各々に対応する複数の第2キャラクタオブジェクトを前記動画内に含め、
前記複数の参加ユーザの少なくとも一部から前記配信ユーザとの共演を申請する共演要求を受け付け、前記共演要求を行った参加ユーザの中から一又は複数のゲストユーザを選定し、
前記一又は複数のゲストユーザの選定に関する通知を前記一又は複数のゲストユーザの各々に送信し、
前記第2キャラクタオブジェクトのうち前記一又は複数のゲストユーザの少なくとも一部に対応するゲストキャラクタオブジェクト及び前記第1キャラクタオブジェクトを含む共演動画を生成し、
前記共演動画は、前記複数の参加ユーザのうち前記一又は複数のゲストユーザとして選定されていないキャラクタオブジェクトを含まない、
動画配信システム。
Equipped with one or more computer processors
The one or more computer processors may execute computer-readable instructions.
A video containing a first character object generated based on the movement of a distribution user is distributed to each client device of a plurality of viewing users.
In response to receiving requests for participation in the video from the plurality of viewing users, a plurality of participating users are selected from the plurality of viewing users.
A plurality of second character objects corresponding to each of the plurality of participating users are included in the moving image.
A co-star request for co-starring with the distribution user is received from at least a part of the plurality of participating users, and one or more guest users are selected from the participating users who have made the co-star request.
Send a notification regarding the selection of the one or more guest users to each of the one or more guest users.
A co-star movie including the guest character object corresponding to at least a part of the one or more guest users and the first character object among the second character objects is generated .
The co-starring video does not include a character object that has not been selected as the one or more guest users among the plurality of participating users.
Video distribution system.
前記一又は複数のコンピュータプロセッサは、前記複数の参加ユーザの各々のクライアント装置において前記共演要求を行うための機能をアクティベートさせるためのコマンドを前記複数の参加ユーザの各々のクライアント装置に送信する、
請求項1に記載の動画配信システム。
The one or more computer processors transmit a command for activating the function for making the co-starring request in each client device of the plurality of participating users to each client device of the plurality of participating users.
The video distribution system according to claim 1.
前記複数の参加ユーザのうちの一の参加ユーザからの前記共演要求には前記一の参加ユーザからのメッセージが含まれる、
請求項1又は請求項2に記載の動画配信システム。
The co-starring request from one of the plurality of participating users includes a message from the one participating user.
The video distribution system according to claim 1 or 2.
前記複数の参加ユーザのうちの一の参加ユーザからの前記共演要求には前記一の参加ユーザからのモーションデータが含まれ、
前記一又は複数のコンピュータプロセッサは、前記一の参加ユーザに対応する前記第2キャラクタオブジェクトに前記動画内において前記モーションデータに対応する動作を行わせる、
請求項1から請求項3のいずれか1項に記載の動画配信システム。
The co-starring request from one of the plurality of participating users includes motion data from the one participating user.
The one or more computer processors causes the second character object corresponding to the one participating user to perform an operation corresponding to the motion data in the moving image.
The video distribution system according to any one of claims 1 to 3.
前記参加要求に基づく前記複数の参加ユーザの選定は、所定のアルゴリズムに基づいて行われる、
請求項1から請求項4のいずれか1項に記載の動画配信システム。
The selection of the plurality of participating users based on the participation request is performed based on a predetermined algorithm.
The video distribution system according to any one of claims 1 to 4.
前記共演要求に基づく前記一又は複数のゲストユーザの選定は、前記配信ユーザの選択に応じて行われる、
請求項1から請求項5のいずれか1項に記載の動画配信システム。
The selection of the one or more guest users based on the co-starring request is performed according to the selection of the distribution user.
The video distribution system according to any one of claims 1 to 5.
前記一又は複数のコンピュータプロセッサは、前記複数の参加ユーザ以外の前記複数の視聴ユーザに対しては、前記複数の参加ユーザの選定に関する通知を送信しない、
請求項1から請求項6のいずれか1項に記載の動画配信システム。
The one or more computer processors do not send a notification regarding the selection of the plurality of participating users to the plurality of viewing users other than the plurality of participating users.
The video distribution system according to any one of claims 1 to 6.
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
配信ユーザの動きに基づいて生成される第1キャラクタオブジェクトを含む動画を複数の視聴ユーザの各々のクライアント装置に配信する工程と、
前記複数の視聴ユーザから前記動画への参加要求を受け付けたことに応じて、前記複数の視聴ユーザの中から複数の参加ユーザを選定する工程と、
前記複数の参加ユーザの各々に対応する複数の第2キャラクタオブジェクトを前記動画内に含める工程と、
前記複数の参加ユーザの少なくとも一部から前記配信ユーザとの共演を申請する共演要求を受け付け、前記共演要求を行った参加ユーザの中から一又は複数のゲストユーザを選定する工程と、
前記一又は複数のゲストユーザの選定に関する通知を前記一又は複数のゲストユーザの各々に送信する工程と、
前記第2キャラクタオブジェクトのうち前記一又は複数のゲストユーザの少なくとも一部に対応するゲストキャラクタオブジェクト及び前記第1キャラクタオブジェクトを含む共演動画を生成する工程と、
を備え
前記共演動画は、前記複数の参加ユーザのうち前記一又は複数のゲストユーザとして選定されていないキャラクタオブジェクトを含まない、
動画配信方法。
A video distribution method executed by one or more computer processors executing computer-readable instructions.
A process of distributing a video including a first character object generated based on a movement of a distribution user to each client device of a plurality of viewing users, and a process of distributing the video.
A process of selecting a plurality of participating users from the plurality of viewing users in response to receiving requests for participation in the video from the plurality of viewing users, and a process of selecting a plurality of participating users from the plurality of viewing users.
A step of including a plurality of second character objects corresponding to each of the plurality of participating users in the moving image, and
A process of receiving a co-starring request for co-starring with the distribution user from at least a part of the plurality of participating users and selecting one or more guest users from the participating users who have made the co-starring request.
The step of transmitting a notification regarding the selection of the one or more guest users to each of the one or more guest users, and
A step of generating a guest character object corresponding to at least a part of the one or more guest users among the second character objects and a co-starring moving image including the first character object.
Equipped with a,
The co-starring video does not include a character object that has not been selected as the one or more guest users among the plurality of participating users.
Video distribution method.
一又は複数のコンピュータプロセッサに、
配信ユーザの動きに基づいて生成される第1キャラクタオブジェクトを含む動画を複数の視聴ユーザの各々のクライアント装置に配信する工程と、
前記複数の視聴ユーザから前記動画への参加要求を受け付けたことに応じて、前記複数の視聴ユーザの中から複数の参加ユーザを選定する工程と、
前記複数の参加ユーザの各々に対応する複数の第2キャラクタオブジェクトを前記動画内に含める工程と、
前記複数の参加ユーザの少なくとも一部から前記配信ユーザとの共演を申請する共演要求を受け付け、前記共演要求を行った参加ユーザの中から一又は複数のゲストユーザを選定する工程と、
前記一又は複数のゲストユーザの選定に関する通知を前記一又は複数のゲストユーザの各々に送信する工程と、
前記第2キャラクタオブジェクトのうち前記一又は複数のゲストユーザの少なくとも一部に対応するゲストキャラクタオブジェクト及び前記第1キャラクタオブジェクトを含む共演動画を生成する工程と、
を実行させ
前記共演動画は、前記複数の参加ユーザのうち前記一又は複数のゲストユーザとして選定されていないキャラクタオブジェクトを含まない、
動画配信プログラム。
For one or more computer processors
A process of distributing a video including a first character object generated based on a movement of a distribution user to each client device of a plurality of viewing users, and a process of distributing the video.
A process of selecting a plurality of participating users from the plurality of viewing users in response to receiving requests for participation in the video from the plurality of viewing users, and a process of selecting a plurality of participating users from the plurality of viewing users.
A step of including a plurality of second character objects corresponding to each of the plurality of participating users in the moving image, and
A process of receiving a co-starring request for co-starring with the distribution user from at least a part of the plurality of participating users and selecting one or more guest users from the participating users who have made the co-starring request.
The step of transmitting a notification regarding the selection of the one or more guest users to each of the one or more guest users, and
A step of generating a guest character object corresponding to at least a part of the one or more guest users among the second character objects and a co-starring moving image including the first character object.
To run ,
The co-starring video does not include a character object that has not been selected as the one or more guest users among the plurality of participating users.
Video distribution program.
JP2019157010A 2019-08-29 2019-08-29 Distribution A video distribution system, video distribution method, and video distribution program that delivers live video including animation of character objects generated based on the movement of the user. Active JP6937803B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019157010A JP6937803B2 (en) 2019-08-29 2019-08-29 Distribution A video distribution system, video distribution method, and video distribution program that delivers live video including animation of character objects generated based on the movement of the user.
JP2021141247A JP7379427B2 (en) 2019-08-29 2021-08-31 Video distribution system, video distribution method, and video distribution program for live distribution of videos including character object animations generated based on the movements of distribution users

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019157010A JP6937803B2 (en) 2019-08-29 2019-08-29 Distribution A video distribution system, video distribution method, and video distribution program that delivers live video including animation of character objects generated based on the movement of the user.

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021141247A Division JP7379427B2 (en) 2019-08-29 2021-08-31 Video distribution system, video distribution method, and video distribution program for live distribution of videos including character object animations generated based on the movements of distribution users

Publications (2)

Publication Number Publication Date
JP2021035017A JP2021035017A (en) 2021-03-01
JP6937803B2 true JP6937803B2 (en) 2021-09-22

Family

ID=74676334

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019157010A Active JP6937803B2 (en) 2019-08-29 2019-08-29 Distribution A video distribution system, video distribution method, and video distribution program that delivers live video including animation of character objects generated based on the movement of the user.
JP2021141247A Active JP7379427B2 (en) 2019-08-29 2021-08-31 Video distribution system, video distribution method, and video distribution program for live distribution of videos including character object animations generated based on the movements of distribution users

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021141247A Active JP7379427B2 (en) 2019-08-29 2021-08-31 Video distribution system, video distribution method, and video distribution program for live distribution of videos including character object animations generated based on the movements of distribution users

Country Status (1)

Country Link
JP (2) JP6937803B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010029397A (en) * 2008-07-28 2010-02-12 Namco Bandai Games Inc Program, information storage medium and image generation system
JP2017204112A (en) * 2016-05-11 2017-11-16 神戸電気工業株式会社 Video data distribution system
JP6463535B1 (en) * 2018-04-27 2019-02-06 株式会社コロプラ Program, information processing apparatus, and method
JP6527627B1 (en) * 2018-08-31 2019-06-05 株式会社バーチャルキャスト Content distribution server, content distribution system, content distribution method and program
JP6543403B1 (en) * 2018-12-12 2019-07-10 グリー株式会社 Video distribution system, video distribution method and video distribution program
JP6550522B1 (en) * 2018-12-18 2019-07-24 グリー株式会社 Video distribution system, video distribution method and video distribution program

Also Published As

Publication number Publication date
JP2022003776A (en) 2022-01-11
JP7379427B2 (en) 2023-11-14
JP2021035017A (en) 2021-03-01

Similar Documents

Publication Publication Date Title
JP7094216B2 (en) A video distribution system, video distribution method, and video distribution program that live-distributes videos containing animations of character objects generated based on the movements of distribution users.
JP6382468B1 (en) Movie distribution system, movie distribution method, and movie distribution program for distributing movie including animation of character object generated based on movement of actor
JP6431233B1 (en) Video distribution system that distributes video including messages from viewing users
JP6420930B1 (en) Movie distribution system, movie distribution method, and movie distribution program for distributing movie including animation of character object generated based on movement of actor
JP6775557B2 (en) Video distribution system, video distribution method, and video distribution program
JP2020036134A (en) Moving image distribution system, moving image distribution method, and moving image distribution program for live distribution of moving image including animation of character object generated based on movement of distribution user
JP2020096269A (en) Video distribution system, video distribution method, and video distribution program
WO2019216146A1 (en) Moving picture delivery system for delivering moving picture including animation of character object generated based on motions of actor, moving picture delivery method, and moving picture delivery program
JP2020036305A (en) Moving image distribution system, moving image distribution method, and moving image distribution program for live distribution of moving image including animation of character object generated based on movement of distribution user
JP2020096335A (en) Video distribution system, video distribution method, and video distribution program
JP2020099096A (en) Video distribution system, video distribution method, and video distribution program
JP2020202575A (en) Video distribution system, video distribution method, and video distribution program
JP6671528B1 (en) Video distribution system, video distribution method, and video distribution program
JP2020036303A (en) Moving image distribution system, moving image distribution method, and moving image distribution program for live distribution of moving image including animation of character object generated based on movement of distribution user
JP2024041749A (en) Moving image distribution system, moving image distribution method, and moving image distribution program
JP6847138B2 (en) A video distribution system, video distribution method, and video distribution program that distributes videos containing animations of character objects generated based on the movements of actors.
WO2020044749A1 (en) Moving-image delivery system for delivering moving-image live that includes animation of character object generated on the basis of motion of delivering user, moving-image delivery method, and moving-image delivery program
JP6937803B2 (en) Distribution A video distribution system, video distribution method, and video distribution program that delivers live video including animation of character objects generated based on the movement of the user.
JP2022088365A (en) Video distribution system distributing videos including animations of character objects generated based on motion of actors, video distribution method, and video distribution program
JP6828106B1 (en) Video distribution system, video distribution method and video distribution program
JP6713080B2 (en) Video distribution system, video distribution method, and video distribution program for live distribution of videos including animation of character objects generated based on movements of distribution users
JP2021177409A (en) Video distribution system for distributing video including message from viewing user
JP2020043578A (en) Moving image distribution system, moving image distribution method, and moving image distribution program, for distributing moving image including animation of character object generated on the basis of movement of actor
JP6764442B2 (en) Video distribution system, video distribution method, and video distribution program that distributes videos including animations of character objects generated based on the movements of actors.
JP6431242B1 (en) Video distribution system that distributes video including messages from viewing users

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190829

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190829

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190930

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210831

R150 Certificate of patent or registration of utility model

Ref document number: 6937803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250