WO2020138107A1 - Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user - Google Patents

Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user Download PDF

Info

Publication number
WO2020138107A1
WO2020138107A1 PCT/JP2019/050682 JP2019050682W WO2020138107A1 WO 2020138107 A1 WO2020138107 A1 WO 2020138107A1 JP 2019050682 W JP2019050682 W JP 2019050682W WO 2020138107 A1 WO2020138107 A1 WO 2020138107A1
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
user
video
display
moving image
Prior art date
Application number
PCT/JP2019/050682
Other languages
French (fr)
Japanese (ja)
Inventor
直英 大塚
貴志 安川
洋典 山内
健悟 栗田
Original Assignee
グリー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018248253A priority Critical patent/JP2020107264A/en
Priority to JP2018-248253 priority
Application filed by グリー株式会社 filed Critical グリー株式会社
Publication of WO2020138107A1 publication Critical patent/WO2020138107A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Abstract

One embodiment of the present invention relates to a video streaming system for live streaming of video including animation of a character object generated on the basis of a virtual space and movements of a streaming user. This video streaming system determines whether a viewing user viewing the video belongs to a first group or a second group when a request by the viewing user to participate in the video has been received. If it is determined that the viewing user belongs to the first group, then a specified avatar of the viewing user is positioned in a first region within the virtual space, and if it is determined that the viewing user belongs to the second group, then the specified avatar is positioned in a second region within the virtual space when the participation condition is satisfied.

Description

配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラムVideo distribution system, video distribution method, and video distribution program for live distribution of video including animation of character object generated based on movement of distribution user
 本明細書における開示は、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラムに関する。 The disclosure in the present specification relates to a moving image distribution system, a moving image distribution method, and a moving image distribution program for live distribution of a moving image including a character object animation generated based on the movement of a distribution user.
 従来から、配信ユーザの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システムが知られている。このような動画配信システムは、例えば、特開2015-184689号公報(特許文献1)及び「長谷川 雄介,ヴァーチャルアイドル新時代の幕開け PROJECT Maria,CG WORLD,日本,株式会社ボーンデジタル,2017年11月10日,第231巻,pp.74-79」(非特許文献1)に開示されている。 BACKGROUND ART Conventionally, there has been known a video distribution system which generates an animation of a character object based on the motion of a distribution user and distributes a video including the animation of the character object live. Such a video distribution system is disclosed, for example, in JP-A-2005-184689 (Patent Document 1) and “Yusuke Hasegawa, the dawn of a new era of virtual idols, PROJECT Maria, CG WORLD, Japan, Bone Digital Co., Ltd., November 2017. Vol. 231, pp. 74-79" (Non-Patent Document 1).
 特開2012-120098号公報(特許文献2)に開示されているように、動画を視聴する視聴ユーザからの要求に応じて、当該視聴ユーザのアバタを含む画像を配信中の動画の背景領域に表示させる動画配信システムも知られている。視聴ユーザは、アバタを介して自らのコメントを動画に投稿することができる。このように、視聴ユーザは、配信中の動画にアバタを介して参加することができる。 As disclosed in Japanese Unexamined Patent Application Publication No. 2012-120098 (Patent Document 2), in response to a request from a viewing user who views a moving image, an image including an avatar of the viewing user is displayed in a background area of the moving image. A moving image distribution system for displaying is also known. The viewing user can post his/her comment on the video via the avatar. In this way, the viewing user can participate in the video being distributed via the avatar.
 特開2017-187995号公報(特許文献3)には、仮想的な部屋に入室したアバタの画像を用いて複数のユーザ間での音声通話を行うソーシャルメディアシステムが開示されている。同公報に記載のソーシャルメディアシステムでは、各部屋に入室可能なアバタの数に上限が定められている。ある部屋に対する入室要求リクエストがなされると、その部屋に既に入室しているアバタの人数が当該部屋について設定された制限人数を超えない場合に、当該入室要求リクエストが許可される。ある部屋への入室要求リクエストが許可されると、当該部屋に新たなアバタの入室が許可される。 Japanese Patent Laying-Open No. 2017-187995 (Patent Document 3) discloses a social media system in which a voice call is made between a plurality of users using an image of an avatar who has entered a virtual room. In the social media system described in the publication, the upper limit is set on the number of avatars that can enter each room. When a room entry request request is made for a room, the room entry request request is permitted if the number of avatars who have already entered the room does not exceed the limit number set for the room. When a request to enter a room is permitted, a new avatar is allowed to enter the room.
特開2015-184689号公報JP, 2005-184689, A 特開2012-120098号公報Japanese Patent Laid-Open No. 2012-120098 特開2017-187995号公報JP, 2017-187995, A
 動画配信システムにおいて、配信されている動画へのアバタの参加を無制限に認めると、多数のアバタを表示するための処理負荷が大きくなるという問題がある。また、アバタの数が多くなると、アバタを介して行われるコメント投稿やギフティングのための処理負荷が大きくなるという問題がある。アバタの行動に関する処理負荷が高くなりすぎると、配信動画の再生やアバタを用いたコミュニケーション機能が正常に提供できなくなるおそれがある。 In the video distribution system, if avatars are allowed to participate in the distributed video without restriction, there is a problem that the processing load for displaying a large number of avatars increases. Further, when the number of avatars increases, there is a problem that the processing load for comment posting and gifting performed through the avatars increases. If the processing load on the avatar's behavior becomes too high, there is a possibility that the playback of the distribution video and the communication function using the avatar cannot be normally provided.
 他方、配信システムにおいて配信中の動画に参加できるアバタの数を制限すると、当該配信システムや当該動画を配信している配信ユーザとのエンゲージメントが高い視聴ユーザの参加を制限してしまうおそれがある。動画配信システムにおいては、エンゲージメントの高い視聴ユーザを獲得し維持することが、配信ユーザと視聴ユーザとのコミュニティを活性化しそのコミュニティを健全に運営するために重要と考えられる。 On the other hand, if the number of avatars that can participate in the video being distributed in the distribution system is limited, there is a risk that the viewing user who has a high degree of engagement with the distribution system or the distribution user who distributes the video may restrict the participation. In a video distribution system, it is considered important to acquire and maintain highly engaging viewing users in order to activate a community of distribution users and viewing users and to operate the community soundly.
 本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、アバタを参加させることによる処理負荷を抑制するとともにエンゲージメントの高い視聴ユーザの参加を妨げない動画配信システム、動画配信方法及び動画配信プログラムを提供することである。 The purpose of the present disclosure is to provide technical improvements that solve or mitigate at least some of the problems of the prior art described above. One of the more specific objects of the present disclosure is to provide a video distribution system, a video distribution method, and a video distribution program that suppress the processing load caused by the participation of avatars and do not prevent the participation of high-engagement viewing users. Is.
 本発明の一態様は、仮想空間と配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションとを含む動画をライブ配信する動画配信システムに関する。当該動画配信システムは、一又は複数のコンピュータプロセッサを備える。当該一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、前記動画を視聴する視聴ユーザから前記動画への参加要求を受け付けたことに応じて、当該視聴ユーザが第1グループと第2グループのいずれに属するかを判定し、前記視聴ユーザが前記第1グループに属すると判定された場合には前記視聴ユーザの特定アバタを前記仮想空間内の第1領域に配置し、前記視聴ユーザが前記第2グループに属すると判定された場合には参加条件を充足したことに応じて前記特定アバタを前記仮想空間内の第2領域に配置する。 One aspect of the present invention relates to a video distribution system for live distribution of a video including a virtual space and an animation of a character object generated based on the movement of a distribution user. The moving image distribution system includes one or more computer processors. The one or more computer processors execute a computer-readable instruction to cause the viewing user to enter the first group in response to receiving a request to participate in the video from a viewing user who views the video. It is determined which of the second groups the user belongs to, and when it is determined that the viewing user belongs to the first group, the specific avatar of the viewing user is arranged in the first area in the virtual space, and the viewing is performed. When it is determined that the user belongs to the second group, the specific avatar is arranged in the second area in the virtual space according to the satisfaction of the participation condition.
 一実施形態において、前記第1領域は、前記仮想空間において前記第2領域よりも前記キャラクタオブジェクトの近くに配置されている。 In one embodiment, the first area is arranged closer to the character object than the second area in the virtual space.
 一実施形態において、前記参加条件は、前記第2領域に表示されている前記視聴ユーザ以外のユーザのアバタの数が前記第2領域ついて設定された表示数の上限よりも少ないことである。 In one embodiment, the participation condition is that the number of avatars of users other than the viewing user displayed in the second area is less than the upper limit of the number of displays set for the second area.
 一実施形態において、前記参加条件は、前記視聴ユーザが前記配信ユーザによって選択されることである。 In one embodiment, the participation condition is that the viewing user is selected by the distribution user.
 一実施形態による動画配信システムは、前記特定アバタを前記仮想空間内に表示するためのアバタデータを記憶するストレージをさらに備え、前記ストレージから読み出された前記アバタデータに基づいて前記特定アバタを前記仮想空間内に表示させる。 The moving image distribution system according to an embodiment further includes a storage that stores avatar data for displaying the specific avatar in the virtual space, and the specific avatar is stored based on the avatar data read from the storage. Display in virtual space.
 一実施形態による動画配信システムは、前記仮想空間に配置されている前記特定アバタに対する動作指示を受け付け、当該動作指示に基づいて、前記仮想空間内に表示されている前記特定アバタの動きを制御する。 A moving image distribution system according to an embodiment receives an operation instruction for the specific avatar arranged in the virtual space, and controls the movement of the specific avatar displayed in the virtual space based on the operation instruction. ..
 一実施形態による動画配信システムは、前記特定アバタが前記仮想空間に配置されている間に前記特定アバタについての表示要求を受け付け、当該表示要求が許可されたことに応じて、前記キャラクタオブジェクトが配置されている第3領域に前記特定アバタを表示する。 A moving image distribution system according to an embodiment receives a display request for the specific avatar while the specific avatar is arranged in the virtual space, and arranges the character object according to permission of the display request. The specific avatar is displayed in the displayed third area.
 一実施形態において、前記第3領域への前記特定アバタの配置は、前記特定アバタの表示要求を受け付けた後に前記視聴ユーザが前記配信ユーザによって選択されたときに行われる。 In one embodiment, the placement of the specific avatar in the third area is performed when the viewing user is selected by the distribution user after receiving a display request for the specific avatar.
 本発明の一態様は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信方法に関する。当該動画配信方法は、前記動画を視聴する視聴ユーザから前記動画への参加要求を受け付けたことに応じて、当該視聴ユーザが第1グループと第2グループのいずれに属するかを判定する工程と、前記視聴ユーザが前記第1グループに属すると判定された場合には前記視聴ユーザの特定アバタを前記仮想空間内の第1領域に配置する工程と、前記視聴ユーザが前記第2グループに属すると判定された場合には参加条件を充足したことに応じて前記特定アバタを前記仮想空間内の第2領域に配置する工程と、を備える。 One aspect of the present invention relates to a moving image distribution method in which one or a plurality of computer processors execute computer-readable instructions to perform live distribution of a moving image including an animation of a character object generated based on a movement of a distribution user. .. The moving image distribution method includes a step of determining whether the watching user belongs to a first group or a second group in response to receiving a participation request for the moving picture from a watching user who views the moving picture. Arranging the specific avatar of the viewing user in a first area in the virtual space when it is determined that the viewing user belongs to the first group; and determining that the viewing user belongs to the second group And the specific avatar is arranged in the second area in the virtual space when the participation condition is satisfied.
 本発明の一態様は、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信プログラムに関する。当該動画配信プログラムは、一又は複数のコンピュータプロセッサに、前記動画を視聴する視聴ユーザから前記動画への参加要求を受け付けたことに応じて、当該視聴ユーザが第1グループと第2グループのいずれに属するかを判定する工程と、前記視聴ユーザが前記第1グループに属すると判定された場合には前記視聴ユーザの特定アバタを前記仮想空間内の第1領域に配置する工程と、前記視聴ユーザが前記第2グループに属すると判定された場合には参加条件を充足したことに応じて前記特定アバタを前記仮想空間内の第2領域に配置する工程と、を実行させる。 One aspect of the present invention relates to a moving picture distribution program for live distribution of a moving picture including an animation of a character object generated based on the movement of a distribution user. The moving image distribution program allows the one or more computer processors to select one of the first group and the second group by the viewing user in response to receiving a request for participation in the moving image from a viewing user who views the moving image. Determining whether or not the user belongs, arranging the specific avatar of the viewing user in the first area in the virtual space when it is determined that the viewing user belongs to the first group, and If it is determined that the particular avatar belongs to the second group, the step of arranging the specific avatar in the second area in the virtual space is executed in response to satisfaction of the participation condition.
 本発明の実施形態によれば、アバタを参加させることによる処理負荷を抑制するとともにエンゲージメントの高い視聴ユーザの参加を妨げないようにできる。 According to the embodiment of the present invention, it is possible to suppress the processing load caused by the participation of avatars and prevent the participation of the viewing users having high engagement.
一実施形態による動画配信システムを示すブロック図である。FIG. 1 is a block diagram showing a moving image distribution system according to an embodiment. 図1の動画配信システムで配信される動画を制作するスタジオの設備を模式的に示す模式図である。It is a schematic diagram which shows typically the equipment of the studio which produces the moving image delivered with the moving image delivery system of FIG. 図1の動画配信システムにおいて記憶されるユーザデータを説明する図である。It is a figure explaining the user data memorize|stored in the moving image distribution system of FIG. 図1の動画配信システムにおいて記憶されるアバタデータを説明する図である。It is a figure explaining the avatar data memorize|stored in the moving image distribution system of FIG. 図1の動画配信システムにおいて記憶される参加管理データを説明する図である。It is a figure explaining the participation management data memorize|stored in the moving image distribution system of FIG. 図1の動画配信システムにおいて配信される動画に表示される仮想空間を説明する図である。It is a figure explaining the virtual space displayed on the moving image delivered in the moving image delivery system of FIG. 一実施形態においてクライアント装置10aに表示される表示画面の例を示す図である。図7aの表示画面においては動画にアバタを参加させるための参加要求ボタンが表示されている。It is a figure which shows the example of the display screen displayed on the client apparatus 10a in one embodiment. In the display screen of FIG. 7a, a participation request button for allowing the avatar to participate in the moving image is displayed. 一実施形態においてクライアント装置10aに表示される表示画面の例を示す図である。図7bの表示画面においては、アバタを配信ユーザのキャラクタと共に表示することを要求するための表示要求ボタンが表示されている。It is a figure which shows the example of the display screen displayed on the client apparatus 10a in one embodiment. In the display screen of FIG. 7b, a display request button for requesting to display the avatar together with the character of the distribution user is displayed. 別の仮想カメラで撮影された仮想空間の画像を含む表示画面の例を示す図である。It is a figure which shows the example of the display screen containing the image of the virtual space imaged by another virtual camera. さらに別の仮想カメラで撮影された仮想空間の画像を含む表示画面の例を示す図である。It is a figure which shows the example of the display screen containing the image of virtual space imaged with another virtual camera. フィーチャー表示要求がなされたことを示す表示画面の例を示す図である。It is a figure which shows the example of the display screen which shows that the feature display request was made. アバタと配信ユーザのキャラクタとが共に表示されている表示画面の例を示す図である。It is a figure which shows the example of the display screen in which both the avatar and the character of a delivery user are displayed. 一実施形態における動画配信処理の流れを示すフロー図である。It is a flow figure showing the flow of the animation distribution processing in one embodiment. 一実施形態においてアバタの参加要求を処理する流れを示すフロー図である。It is a flow figure showing a flow which processes a participation request of an avatar in one embodiment. 一実施形態においてアバタの表示要求を処理する流れを示すフロー図である。It is a flow figure showing a flow which processes a display request of an avatar in one embodiment. 別の実施形態による動画配信システムを示すブロック図である。It is a block diagram which shows the moving image distribution system by another embodiment.
 以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。 Hereinafter, various embodiments of the present invention will be described with reference to the drawings as appropriate. The same or similar components are denoted by the same reference symbols in the drawings.
 図1から図6を参照して、一実施形態による動画配信システムについて説明する。図1は、一実施形態による動画配信システム1を示すブロック図であり、図2は、動画配信システム1で配信される動画の制作が行われるスタジオの設備を模式的に示す模式図であり、図3から図5は、動画配信システム1において記憶される情報を説明するための図であり、図6は、動画に表示される仮想空間を模式的に示す図である。 A moving image distribution system according to an embodiment will be described with reference to FIGS. 1 to 6. FIG. 1 is a block diagram showing a moving image distribution system 1 according to an embodiment, and FIG. 2 is a schematic diagram schematically showing equipment of a studio where a moving image distributed by the moving image distribution system 1 is produced, 3 to 5 are diagrams for explaining the information stored in the moving image distribution system 1, and FIG. 6 is a diagram schematically showing the virtual space displayed in the moving image.
 動画配信システム1は、クライアント装置10a~10cと、サーバ装置20と、スタジオユニット30と、ストレージ25と、を備える。クライアント装置10a~10cと、サーバ装置20と、ストレージ25と、は、ネットワーク15を介して相互に通信可能に接続されている。サーバ装置20は、後述するように、キャラクタのアニメーションを含む動画を配信するように構成される。この動画に含まれるキャラクタは、仮想空間内でモーション制御されてもよい。 The video distribution system 1 includes client devices 10a to 10c, a server device 20, a studio unit 30, and a storage 25. The client devices 10a to 10c, the server device 20, and the storage 25 are communicably connected to each other via the network 15. The server device 20 is configured to deliver a moving image including a character animation, as described later. The characters included in this moving image may be motion-controlled in the virtual space.
 動画は、サーバ装置20からクライアント装置10a~10cの各々に配信され得る。クライアント装置10aのユーザである第1視聴ユーザ、クライアント装置10bのユーザである第2視聴ユーザ、及びクライアント装置10cのユーザである第3視聴ユーザは、配信された動画を各クライアント装置により視聴することができる。動画配信システム1は、3台よりも少ない数のクライアント装置を備えていてもよく、3台よりも多い数のクライアント装置を備えていてもよい。クライアント装置10a~10c及びこれら以外にクライアント装置を利用してサーバ装置20から配信された動画を視聴するユーザを視聴ユーザと総称する。サーバ装置20から配信される動画の視聴は、当該動画を視聴するためのアプリケーションソフトウェアを実行可能なクライアント装置10a~10cによって行われてもよい。サーバ装置20から配信された動画を視聴するために、クライアント装置10a~クライアント装置10cに、当該動画を視聴するための機能を実現する命令セットを有するアプリケーションソフトウェアをダウンロード及びインストールしてもよい。このようなサーバ装置20から配信された動画を視聴する機能を有するアプリケーションソフトウェアを「視聴アプリケーションソフトウェア」又は「視聴アプリ」と呼ぶことがある。サーバ装置20から配信される動画の視聴は、視聴アプリの機能を実行することにより行われてもよい。一実施形態においては、サーバ装置20から配信される動画の視聴は、クライアント装置10a~クライアント装置10cのうち視聴アプリがインストールされたクライアント装置によって行われ、視聴アプリがインストールされていないクライアント装置からは実行できなくてもよい。サーバ装置20から配信される動画を視聴する視聴ユーザは、自らのアバタを当該動画に表示させることができる。言い換えると、視聴ユーザは、自らのアバタを介して、配信されている動画に参加することができる。視聴ユーザは、配信されている動画に自らのアバタを表示させ、そのアバタを介して、動画の配信ユーザ(又は配信されている動画内のキャラクタ)や他の視聴ユーザと交流することができる。 The moving image can be distributed from the server device 20 to each of the client devices 10a to 10c. The first viewing user who is the user of the client device 10a, the second viewing user who is the user of the client device 10b, and the third viewing user who is the user of the client device 10c are to view the distributed video by each client device. You can The moving image distribution system 1 may include less than three client devices, and may include more than three client devices. The client devices 10a to 10c and users other than these, who view the moving images distributed from the server device 20 by using the client devices, are collectively referred to as viewing users. The viewing of the moving image distributed from the server device 20 may be performed by the client devices 10a to 10c capable of executing the application software for viewing the moving image. In order to view the moving image distributed from the server device 20, the client device 10a to the client device 10c may download and install application software having an instruction set that realizes a function for viewing the moving image. The application software having the function of viewing the moving image distributed from the server device 20 may be referred to as “viewing application software” or “viewing application”. The viewing of the moving image distributed from the server device 20 may be performed by executing the function of the viewing application. In one embodiment, the viewing of the moving image distributed from the server device 20 is performed by the client device of the client devices 10a to 10c in which the viewing application is installed, and from the client device in which the viewing application is not installed. It does not have to be executed. The viewing user who views the video distributed from the server device 20 can display his or her avatar in the video. In other words, the viewing user can participate in the delivered video through his or her avatar. The viewing user can display his or her avatar on the distributed video and interact with the distribution user of the video (or a character in the distributed video) or another viewing user via the avatar.
 クライアント装置10a~10cは、スマートフォンなどの情報処理装置である。クライアント装置10a~10cは、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。クライアント装置10a~10cの各々は、コンピュータプロセッサ、メモリ、通信I/F、ディスプレイ、ジャイロセンサ等の各種センサを備えるセンサユニット、マイク等の集音装置、及び各種情報を記憶するストレージを備えていてもよい。 The client devices 10a to 10c are information processing devices such as smartphones. The client devices 10a to 10c may be mobile phones, tablet terminals, personal computers, electronic book readers, wearable computers, game consoles, and various types of information processing devices capable of reproducing moving images other than these, in addition to smartphones. Each of the client devices 10a to 10c includes a computer processor, a memory, a communication I/F, a display, a sensor unit including various sensors such as a gyro sensor, a sound collecting device such as a microphone, and a storage storing various information. Good.
 クライアント装置10a~10cのディスプレイは、表示パネルと、タッチパネルと、を有する。タッチパネルは、プレイヤのタッチ操作(接触操作)を検出することができるように構成されている。タッチパネルは、プレイヤのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、プレイヤの非接触操作を検出可能に構成されてもよい。 The display of each of the client devices 10a to 10c has a display panel and a touch panel. The touch panel is configured to be able to detect a touch operation (contact operation) by the player. The touch panel can detect various touch operations such as tapping, double tapping, and dragging by the player. The touch panel may include a capacitance type proximity sensor and may be configured to be able to detect a non-contact operation by the player.
 視聴ユーザは、クライアント装置10a~10cのタッチパネルを介して、配信された動画に関するメッセージ又はそれ以外のメッセージを入力することができる。このメッセージは、例えば、テキスト形式のメッセージ、静止画形式のメッセージ、動画形式のメッセージ、及びこれら以外の任意の形式の電子的なメッセージであってもよい。クライアント装置10a~10cの各々は、視聴ユーザによって入力されたメッセージをサーバ装置20に投稿(送信)するように構成され得る。 The viewing user can input a message relating to the distributed moving image or another message via the touch panels of the client devices 10a to 10c. This message may be, for example, a text format message, a still image format message, a moving image format message, or any other format electronic message. Each of the client devices 10a to 10c may be configured to post (send) a message input by the viewing user to the server device 20.
 図示の実施形態において、サーバ装置20は、コンピュータプロセッサ21と、通信I/F22と、ストレージ23と、を備えている。 In the illustrated embodiment, the server device 20 includes a computer processor 21, a communication I/F 22, and a storage 23.
 コンピュータプロセッサ21は、ストレージ23又はそれ以外のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ21は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ21は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図1においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ21は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。本明細書において、コンピュータプロセッサ21によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ21によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより実行されてもよい。コンピュータプロセッサ21により実現される機能は後述する。 The computer processor 21 is an arithmetic unit that loads an operating system and various programs that realize various functions from a storage 23 or another storage into a memory, and executes instructions included in the loaded programs. The computer processor 21 is, for example, a CPU, MPU, DSP, GPU, various arithmetic devices other than these, or a combination thereof. The computer processor 21 may be realized by an integrated circuit such as an ASIC, PLD, FPGA, MCU or the like. Although the computer processor 21 is shown as a single component in FIG. 1, the computer processor 21 may be a collection of a plurality of physically separate computer processors. In the present specification, the program described as being executed by the computer processor 21 or the instructions included in the program may be executed by a single computer processor, or may be executed by a plurality of computer processors in a distributed manner. Good. Further, the program executed by the computer processor 21 or the instructions included in the program may be executed by a plurality of virtual computer processors. The functions realized by the computer processor 21 will be described later.
 通信I/F22は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置20は、通信I/F22を介して、他の装置とデータを送受信することができる。 The communication I/F 22 is implemented as hardware, firmware, communication software such as TCP/IP driver or PPP driver, or a combination thereof. The server device 20 can send and receive data to and from other devices via the communication I/F 22.
 ストレージ23は、コンピュータプロセッサ21によりアクセスされる記憶装置である。ストレージ23は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ23には、様々なプログラムが記憶され得る。ストレージ23に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置20とは物理的に別体のストレージ(例えば、ストレージ25)に格納されてもよい。ストレージ23に格納されるデータの詳細については後述する。 The storage 23 is a storage device accessed by the computer processor 21. The storage 23 is, for example, a magnetic disk, an optical disk, a semiconductor memory, or various storage devices other than the above capable of storing data. Various programs may be stored in the storage 23. At least a part of the programs and various data that can be stored in the storage 23 may be stored in a storage physically separate from the server device 20 (for example, the storage 25). Details of the data stored in the storage 23 will be described later.
 スタジオユニット30の構成要素の多くは、例えば、図2に示されているスタジオルームRに配置されている。図示のように、スタジオルームRにおいては、アクターA1がパフォーマンスを行っている。スタジオユニット30は、アクターA1の動き及び表情を検出し、検出した情報をサーバ装置20に出力するように構成されている。 Many of the components of the studio unit 30 are arranged in the studio room R shown in FIG. 2, for example. As illustrated, in the studio room R, the actor A1 is performing. The studio unit 30 is configured to detect the movement and facial expression of the actor A1 and output the detected information to the server device 20.
 アクターA1は、スタジオユニット30に備えられる後述のセンサ群によって動きや表情がキャプチャされる対象である。図示の実施形態において、アクターA1は、トーク、パフォーマンス、及びこれら以外の動画として配信される番組を進行するための行動を行う人間である。アクターA1は、人間以外に、動物またはこれ以外の運動する任意の物体(非生物)であってもよい。アクターA1は、例えば、自立運動可能なロボットであってもよい。スタジオルームR内のアクターの数は、1であってもよいし、3以上であってもよい。 Actor A1 is a target whose movements and facial expressions are captured by a sensor group, which will be described later, provided in the studio unit 30. In the illustrated embodiment, the actor A1 is a person who performs actions such as talk, performance, and the progress of programs other than these that are distributed as moving images. The actor A1 may be an animal or any other moving object (non-living object) other than humans. The actor A1 may be, for example, a robot capable of independent movement. The number of actors in the studio room R may be one, or may be three or more.
 スタジオユニット30は、アクターA1に装着される6つのモーションセンサ31a~31fと、アクターA1の左手に把持されているコントローラ33aと、アクターA1の右手に把持されているコントローラ33bと、装着具37bを介してアクターA1の頭部に取り付けられるカメラ37aと、アクターA1の左腕に装着されている腕時計型のアクターデバイス91と、を有する。装着具37bには、音声データを取得するためのマイクが取り付けられてもよい。このマイクは、アクターA1の発話を音声データとして取得することができる。マイクは、装着具37bを介してアクターA1に装着される装着型のマイクであってもよく、スタジオルームRの床、壁、又は天井に設置される設置型のものであってもよい。スタジオユニット30は、上記の構成要素に加えて、ベースステーション35aと、ベースステーション35bと、デジタルカメラ36aと、ディスプレイ39と、を有する。スタジオルームRとガラス窓を隔てた隣室には、サポーターコンピュータ40が設置されている。サーバ装置20は、サポーターコンピュータ40が設置されている部屋と同じ部屋に設置されてもよい。 The studio unit 30 includes six motion sensors 31a to 31f attached to the actor A1, a controller 33a held by the left hand of the actor A1, a controller 33b held by the right hand of the actor A1, and an attachment 37b. The camera 37a is attached to the head of the actor A1 through the camera, and the wristwatch-type actor device 91 is attached to the left arm of the actor A1. A microphone for acquiring voice data may be attached to the wearing tool 37b. This microphone can acquire the speech of the actor A1 as voice data. The microphone may be a wearable microphone that is mounted on the actor A1 via the mounting tool 37b, or may be a stationary microphone that is installed on the floor, wall, or ceiling of the studio room R. The studio unit 30 has a base station 35a, a base station 35b, a digital camera 36a, and a display 39 in addition to the above components. A supporter computer 40 is installed in the next room, which is separated from the studio room R by a glass window. The server device 20 may be installed in the same room as the room in which the supporter computer 40 is installed.
 モーションセンサ31a~31fは、ベースステーション35a及びベースステーション35bと協働して、自らの位置及び向きを検出する。一実施形態において、ベースステーション35a及びベースステーション35bは、多軸レーザーエミッターである。ベースステーション35aは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション35bは、例えば水平軸の周りでレーザー光を走査する。モーションセンサ31a~31fはそれぞれ、ベースステーション35a及びベースステーション35bからの点滅光及びレーザー光の入射を検知する光センサーを複数備えてもよい。モーションセンサ31a~31fはそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサーでの受光時間、各光センサーが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報に基づいて、自らの位置及び向きを検出してもよい。モーションセンサ31a~31fは、例えば、HTC CORPORATIONから提供されているVive Trackerであってもよい。ベースステーション35a及びベースステーション35bは、例えば、HTC CORPORATIONから提供されているベースステーションであってもよい。 The motion sensors 31a to 31f cooperate with the base station 35a and the base station 35b to detect their own position and orientation. In one embodiment, base station 35a and base station 35b are multi-axis laser emitters. The base station 35a scans the laser light around the vertical axis, for example, after emitting the flashing light for synchronization. The base station 35b scans the laser light around a horizontal axis, for example. Each of the motion sensors 31a to 31f may include a plurality of optical sensors that detect the incidence of blinking light and laser light from the base station 35a and the base station 35b. Each of the motion sensors 31a to 31f has a time difference between an incident timing of blinking light and an incident timing of laser light, a light receiving time at each optical sensor, an incident angle of laser light detected by each optical sensor, and other than these as necessary. It is also possible to detect its own position and orientation based on the information of. The motion sensors 31a to 31f may be, for example, Vive Tracker provided by HTC CORPORATION. The base stations 35a and 35b may be, for example, base stations provided by HTC CORPORATION.
 モーションセンサ31a~31fの各々において算出された各モーションセンサの位置及び向きを示す検出情報は、サーバ装置20に送信される。この検出情報は、モーションセンサ31a~31fの各々からサーバ装置20に無線送信されてもよい。ベースステーション35a及びベースステーション35bは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各モーションセンサの検出情報は、当該インターバルごとに更新される。なお、ベースステーションは、3つ以上の複数であってもよい。ベースステーションの位置は適宜変更してもよい。例えば、図2に示されているトラッキングセンサの検出対象の空間の上方の隅部に配されているベースステーションに加えて若しくは替えて、上方位置及び床面に近い下方位置に対をなすように配置されたベースステーションが設けられてもよい。例えば、ベースステーションは4つであってもよい。 The detection information indicating the position and orientation of each motion sensor calculated by each of the motion sensors 31a to 31f is transmitted to the server device 20. This detection information may be wirelessly transmitted to the server device 20 from each of the motion sensors 31a to 31f. Since the base station 35a and the base station 35b emit flashing light and scan laser light at regular intervals, the detection information of each motion sensor is updated at each interval. The base station may be a plurality of three or more. The position of the base station may be changed appropriately. For example, in addition to or in place of the base station arranged in the upper corner of the space to be detected by the tracking sensor shown in FIG. 2, a pair is formed at the upper position and the lower position near the floor. A deployed base station may be provided. For example, there may be four base stations.
 図示の実施形態において、アクターA1は、6つのモーションセンサ31a~31fを装着している。モーションセンサ31a,31b,31c,31d,31e,及び31fはそれぞれ、アクターA1の左手甲、右手甲、左足甲、右足甲、腰、及び頭頂に装着されている。モーションセンサ31a~31fは、装着具を介してアクターA1に装着されてもよい。図2に示されているモーションセンサ31a~31fは例示である。モーションセンサ31a~31fは、アクターA1の様々な部位に装着され得る。アクターA1に装着されるモーションセンサの数は5以下であってもよいし7以上であってもよい。このように、アクターA1の体の各部に装着されたモーションセンサ31a~31fの位置及び向きを検出することにより、アクターA1の体の動きを検出することができる。アクターA1の体の動きは、光学モーションキャプチャシステムにより検出されてもよい。 In the illustrated embodiment, the actor A1 is equipped with six motion sensors 31a to 31f. The motion sensors 31a, 31b, 31c, 31d, 31e, and 31f are attached to the left back, right back, left back, right back, waist, and top of the actor A1, respectively. The motion sensors 31a to 31f may be mounted on the actor A1 via a mounting tool. The motion sensors 31a to 31f shown in FIG. 2 are examples. The motion sensors 31a to 31f can be attached to various parts of the actor A1. The number of motion sensors attached to the actor A1 may be 5 or less, or 7 or more. In this way, the movement of the body of the actor A1 can be detected by detecting the positions and orientations of the motion sensors 31a to 31f attached to the respective parts of the body of the actor A1. The body movements of actor A1 may be detected by an optical motion capture system.
 一実施形態においては、アクターA1に装着される複数のモーションセンサの各々に多数の赤外LEDを搭載し、この赤外LEDからの光を、スタジオルームRの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの各々の位置及び向きを検出してもよい。赤外LEDに代えて可視光LEDを使用し、この可視光LEDからの光を可視光カメラで検出することで、当該モーションセンサの各々の位置及び向きを検出してもよい。このように、アクターに装着される複数のモーションセンサの各々に発光部(例えば、赤外LEDや可視光LED)を設け、この発光部からの光をスタジオルームR内に設けられた受光部(例えば、赤外線カメラや可視光カメラ)で検出することで、当該モーションセンサの各々の位置及び向きを検出してもよい。 In one embodiment, a large number of infrared LEDs are mounted on each of the plurality of motion sensors mounted on the actor A1, and light from the infrared LEDs is read by an infrared camera provided on the floor or wall of the studio room R. By detecting, the position and direction of each motion sensor may be detected. A visible light LED may be used instead of the infrared LED, and light from the visible light LED may be detected by a visible light camera to detect each position and orientation of the motion sensor. Thus, each of the plurality of motion sensors attached to the actor is provided with a light emitting portion (for example, an infrared LED or a visible light LED), and the light from this light emitting portion is provided in the studio room R (a light receiving portion ( For example, the position and orientation of each motion sensor may be detected by detecting with an infrared camera or a visible light camera.
 一実施形態においては、モーションセンサ31a~31fに代えて、複数の反射マーカーを用いることができる。反射マーカーは、アクターA1の各々に粘着テープなどにより貼付される。このように反射マーカーが貼付されたアクターA1を撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置及び向きを検出することができる。一実施形態において、アクターA1に体の動きの検出は、慣性センサが内蔵されたスーツを用いて行われてもよい。アクターA1に着用された慣性センサ内蔵スーツの慣性センサから出力されるセンサ信号を解析することにより、アクターA1の動きを検出することができる。慣性センサが内蔵されたスーツとして、Xsens.com社が開発するMVNと呼ばれるモーションキャプチャシステムに対応した慣性センサ内蔵スーツを用いることができる。 In one embodiment, a plurality of reflective markers can be used instead of the motion sensors 31a to 31f. The reflective marker is attached to each of the actors A1 with an adhesive tape or the like. The position and orientation of the reflective marker can be detected by imaging the actor A1 to which the reflective marker is attached in this way to generate imaging data and performing image processing on this imaging data. In one embodiment, the detection of the body movement of the actor A1 may be performed using a suit including an inertial sensor. The motion of the actor A1 can be detected by analyzing the sensor signal output from the inertia sensor of the suit with the built-in inertia sensor worn on the actor A1. As a suit with a built-in inertial sensor, a suit with a built-in inertial sensor that supports a motion capture system called MVN developed by Xsens.com can be used.
 コントローラ33a及びコントローラ33bは、アクターA1の操作に応じたコントロール信号をサーバ装置20に出力する。 The controller 33a and the controller 33b output a control signal according to the operation of the actor A1 to the server device 20.
 デジタルカメラ36aは、アクターA1を撮像して撮像データを生成する。デジタルカメラ36aの位置、撮像方向、及び画角は、操作者の操作に応じて設定される。デジタルカメラ36aは、その位置、撮像方向、及び画角を示す撮像設定情報をサーバ装置20に送信する。同様に、デジタルカメラ36bの位置、撮像方向、及び画角は、操作者の操作に応じて設定される。図示の実施形態において、デジタルカメラ36aは、アクターA1の左前方に設けられている。 The digital camera 36a images the actor A1 and generates image data. The position, the imaging direction, and the angle of view of the digital camera 36a are set according to the operation of the operator. The digital camera 36a transmits image pickup setting information indicating the position, the image pickup direction, and the angle of view to the server device 20. Similarly, the position, the imaging direction, and the angle of view of the digital camera 36b are set according to the operation of the operator. In the illustrated embodiment, the digital camera 36a is provided to the left front of the actor A1.
 カメラ37aは、上記のように、アクターA1の頭部に取り付けられている。例えば、カメラ37aは、アクターA1の顔を撮像できるように配置されている。カメラ37aは、アクターA1の顔を連続的に撮像し、アクターA1の顔の撮像データを取得する。カメラ37aは、アクターA1の顔の撮像データをサーバ装置20に送信する。カメラ37aは、人物の顔の奥行きを検出可能な3Dカメラであってもよい。カメラ37aは、例えば、Apple Incが提供するiPhone X(商標)に備えられたLIDARデバイスであってもよい。iPhone X(商標)は、例えば、アクターA1の頭部に装着されたヘッドギアに取り付けられる。カメラ37aは、アクターA1及びA2に装着されるのではなく、スタジオルームR内に設置されたカメラスタンドに設置される固定型のものであってもよい。 The camera 37a is attached to the head of the actor A1 as described above. For example, the camera 37a is arranged so that the face of the actor A1 can be imaged. The camera 37a continuously images the face of the actor A1 and acquires image pickup data of the face of the actor A1. The camera 37a transmits the imaged data of the face of the actor A1 to the server device 20. The camera 37a may be a 3D camera capable of detecting the depth of the face of a person. The camera 37a may be, for example, a LIDAR device included in the iPhone X (trademark) provided by Apple Inc. The iPhone X (trademark) is attached to, for example, headgear attached to the head of the actor A1. The camera 37a may not be attached to the actors A1 and A2, but may be a fixed type installed on a camera stand installed in the studio room R.
 ディスプレイ39は、サポートコンピュータ40から受信した情報を表示するように構成される。サポートコンピュータ40からディスプレイ39に送信される情報は、例えば、テキスト情報、画像情報、及びこれら以外の各種情報を含み得る。ディスプレイ39は、アクターA1によって視認可能な位置に配置される。 The display 39 is configured to display the information received from the support computer 40. The information transmitted from the support computer 40 to the display 39 may include, for example, text information, image information, and various other information. The display 39 is arranged at a position visible by the actor A1.
 アクターデバイス91は、サーバ装置20からの駆動信号に応じて、アクターA1が知覚可能な音以外の刺激を発生させるように構成される。アクターデバイス91が音を発生させると、配信コンテンツに当該音が合成されてしまうおそれがあるため、アクターデバイス91は、音以外の刺激を発生させるように構成される。アクターデバイス91は、聴覚刺激(典型的には、音)以外の刺激、例えば、触覚刺激、視覚刺激、又はこれら以外の聴覚刺激とは異なるアクターA1によって知覚可能な刺激を発生させることができる。アクターデバイス91は、アクチュエータ91aを備えてもよい。アクチュエータ91aは、サーバ装置20からの駆動信号により作動するように構成される。アクチュエータ91aは、駆動信号が入力されると振動するように構成されてもよい。アクターデバイス91として、例えば、Apple Incから提供されているApple Watchが用いられ得る。アクターデバイス91は、腕時計型以外の様々な形状をとり得る。アクターA1は、互いに同じ種類の又は互いと異なる種類の複数のアクターデバイス91を装着することができる。アクターデバイス91は、サーバ装置20以外からの駆動信号に応じて作動するように構成されてもよい。複数のアクターデバイス91は、アクターA1を識別するアクターIDと対応付けられていてもよい。アクターデバイス91は、アクチュエータ91aを介して触覚刺激をアクターA1に伝達することができる。アクターデバイス91は、LED(Light Emitting Diode)や知覚ディスプレイデバイスであってもよい。LEDや知覚ディスプレイデバイスは、視覚刺激を発生することができる。知覚ディスプレイデバイスは、電極から流れる電流によって皮膚下の神経軸索を駆動する電気触覚ディスプレイであってもよい。 The actor device 91 is configured to generate a stimulus other than a sound that the actor A1 can perceive in response to a drive signal from the server device 20. If the actor device 91 generates a sound, the sound may be mixed with the distribution content, and thus the actor device 91 is configured to generate a stimulus other than the sound. The actor device 91 can generate a stimulus other than the auditory stimulus (typically, sound), for example, a tactile stimulus, a visual stimulus, or a stimulus that can be perceived by the actor A1 different from the other auditory stimuli. The actor device 91 may include an actuator 91a. The actuator 91a is configured to operate according to a drive signal from the server device 20. The actuator 91a may be configured to vibrate when a drive signal is input. As the actor device 91, for example, Apple Watch provided by Apple Inc may be used. The actor device 91 can take various shapes other than a wristwatch type. The actor A1 can be equipped with a plurality of actor devices 91 of the same type or different types. The actor device 91 may be configured to operate in response to a drive signal from other than the server device 20. The plurality of actor devices 91 may be associated with an actor ID that identifies the actor A1. The actor device 91 can transmit a tactile stimulus to the actor A1 via the actuator 91a. The actor device 91 may be an LED (Light Emitting Diode) or a perceptual display device. LEDs and perceptual display devices can generate visual stimuli. The sensory display device may be an electrotactile display in which the electrical current flowing from the electrodes drives nerve axons under the skin.
 図示の実施形態において、サポーターコンピュータ40は、スタジオルームRの隣室に設置されている。サポーターコンピュータ40が設置されている部屋とスタジオルームRとはガラス窓によって隔てられているため、サポーターコンピュータ40のオペレータ(本明細書では「サポーター」ということがある。)は、アクターA1を視認できる。図示の実施形態においては、サポーターコンピュータ40のオペレータとして、サポーターB1及びサポーターB2が在室している。 In the illustrated embodiment, the supporter computer 40 is installed in the room next to the studio room R. Since the room in which the supporter computer 40 is installed and the studio room R are separated by the glass window, the operator of the supporter computer 40 (sometimes referred to as “supporter” in this specification) can visually recognize the actor A1. .. In the illustrated embodiment, a supporter B1 and a supporter B2 are present in the room as operators of the supporter computer 40.
 サポーターコンピュータ40は、サポーターB1及びサポーターB2の操作に応じて、スタジオユニット30の構成要素の設定を変更することができるように構成されてもよい。サポーターコンピュータ40は、例えば、ベースステーション35a及びベースステーション35bによる走査インターバルの設定、デジタルカメラ36a及びトラッキングセンサ36bの位置または向きの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。後述するアクティブセンサの切り替えは、サポーターB1及びサポーターB2によるサポーターコンピュータ40の操作に基づいて実行され得る。サポーターB1及びサポーターB2の少なくとも一方は、サポーターコンピュータ40にメッセージを入力し、当該入力されたメッセージをディスプレイ39に表示することができる。 The supporter computer 40 may be configured to be able to change the setting of the components of the studio unit 30 according to the operation of the supporter B1 and the supporter B2. The supporter computer 40 can, for example, set scan intervals by the base station 35a and the base station 35b, set positions or orientations of the digital camera 36a and the tracking sensor 36b, and change various settings of various devices other than these. .. The switching of the active sensor described later can be executed based on the operation of the supporter computer 40 by the supporter B1 and the supporter B2. At least one of the supporter B1 and the supporter B2 can input a message to the supporter computer 40 and display the input message on the display 39.
 図2に示されているスタジオユニット30の構成要素及び機能は例示である。本発明に適用可能なスタジオユニット30は、図示されていない様々な構成要素を備え得る。スタジオユニット30は、プロジェクタを備えていてもよい。当該プロジェクタは、クライアント装置10aまたはそれ以外のクライアント装置に配信される動画をスクリーンSに投影することができる。 The components and functions of the studio unit 30 shown in FIG. 2 are examples. The studio unit 30 applicable to the present invention may include various components not shown. The studio unit 30 may include a projector. The projector can project a moving image delivered to the client device 10a or another client device on the screen S.
 他方、配信される動画を生成するための撮影は、より簡易な設備によって実行されてもよい。例えば、スマートフォンなどの情報処理端末によりアクターの顔の動きのデジタル表現であるフェイスモーションデータを生成し、当該フェイスモーションデータに基づいて、アクターの表情の動きに同期してその表情が動くがボディは動かないキャラクタオブジェクトのアニメーションを生成してもよい。このようなフェイスモーションデータの生成は、クライアント装置10a~クライアント装置10cにより行われてもよい。フェイスモーションデータの生成を行うために、クライアント装置10a~クライアント装置10cに、フェイスモーションデータを生成するための機能を実現する命令セットを有するアプリケーションソフトウェアをダウンロード及びインストールしてもよい。このようなフェイスモーションデータの生成を行う機能を有するアプリケーションソフトウェアを「配信アプリケーションソフトウェア」又は「配信アプリ」と呼ぶことがある。配信アプリと既述の視聴アプリとは別個のアプリケーションソフトウェアであってもよいし、単一のアプリケーションソフトウェアが配信アプリの機能及び記述の視聴アプリの機能を両方とも備えてもよい。このフェイスモーションデータは、アクターの頭部の姿勢のトラッキングデータ、当該アクターの顔の特徴点のデジタル表現であるフィーチャーポイント、及びその変形率を表現したブレンドフェイスデータを含むことができる。スマートフォンなどの情報処理端末は、フェイスモーションデータに基づいて、アクターの表情を誇張して示す画像を作成し、当該画像をキャラクタオブジェクトの顔に重畳表示してもよい。フェイスモーションデータに基づいてキャラクタオブジェクトのアニメーションを生成する場合、アクターの体の動きを検出するためのモーションセンサ31a,31b,31c,31d,31e,及び31f、ベースステーション35a,35b、及びデジタルカメラ36a,36bが不要となるため、より簡易な設備でキャラクタオブジェクトのアニメーションを生成することができる。モーションセンサ31a,31b,31c,31d,31e,及び31f、ベースステーション35a,35b、及びデジタルカメラ36aが不要であれば、スタジオルームR以外の場所、例えばアクターの自宅でもキャラクタオブジェクトの生成を行うことができるので利便性が高まる。 On the other hand, the shooting for generating the distributed video may be executed by a simpler facility. For example, an information processing terminal such as a smartphone generates face motion data, which is a digital expression of an actor's facial movement, and based on the face motion data, the facial expression moves in synchronization with the movement of the actor's facial expression, but An animation of a stationary character object may be generated. The generation of such face motion data may be performed by the client devices 10a to 10c. In order to generate the face motion data, application software having an instruction set that realizes a function for generating the face motion data may be downloaded and installed in the client devices 10a to 10c. The application software having the function of generating such face motion data may be referred to as “delivery application software” or “delivery application”. The distribution application and the aforementioned viewing application may be separate application software, or a single application software may have both the function of the distribution application and the function of the viewing application described. The face motion data can include tracking data of the posture of the head of the actor, feature points that are digital representations of the feature points of the face of the actor, and blended face data that represents the deformation rate thereof. An information processing terminal such as a smartphone may create an image showing an actor's expression exaggeratedly based on the face motion data, and superimpose and display the image on the face of the character object. When an animation of a character object is generated based on face motion data, motion sensors 31a, 31b, 31c, 31d, 31e, and 31f for detecting body movement of an actor, base stations 35a and 35b, and a digital camera 36a. , 36b are no longer required, the animation of the character object can be generated with simpler equipment. If the motion sensors 31a, 31b, 31c, 31d, 31e, and 31f, the base stations 35a, 35b, and the digital camera 36a are unnecessary, the character object is generated at a place other than the studio room R, for example, at the home of the actor. It is possible to improve convenience.
 次に、一態様において、ストレージ23に記憶される情報について説明する。図示の実施形態においては、ストレージ23には、モデルデータ23a、オブジェクトデータ23b、ユーザデータ23c、アバタデータ23d、参加管理データ23e、及び前記以外の配信動画の生成及び配信に必要な様々な情報が記憶される。 Next, in one aspect, the information stored in the storage 23 will be described. In the illustrated embodiment, the storage 23 stores model data 23a, object data 23b, user data 23c, avatar data 23d, participation management data 23e, and various information necessary for generation and distribution of distribution moving images other than the above. Remembered.
 モデルデータ23aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ23aは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータ23aは、例えば、キャラクタの骨格を示すリグデータ(「スケルトンデータ」と呼ばれることもある。)と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ23aには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。 The model data 23a is model data for generating a character animation. The model data 23a may be three-dimensional model data for generating a three-dimensional animation, or may be two-dimensional model data for generating a two-dimensional model data. The model data 23a includes, for example, rig data indicating the skeleton of the character (sometimes called “skeleton data”) and surface data indicating the shape and texture of the surface of the character. The model data 23a can include a plurality of different model data. The plurality of model data may have different rig data, or may have the same rig data. The plurality of model data may have surface data different from each other, or may have the same surface data.
 オブジェクトデータ23bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ23bは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ23bには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。 The object data 23b includes asset data for constructing a virtual space that constitutes a moving image. The object data 23b is data for drawing the background of the virtual space forming the moving image, data for drawing various objects displayed in the moving image, and for drawing various objects displayed in the moving image other than these. Contains data. The object data 23b may include object position information indicating the position of the object in the virtual space.
 オブジェクトデータ23bには、上記以外にも、クライアント装置10a~10cの視聴ユーザからの表示要求に基づいて動画に表示されるギフトオブジェクトを表示するためのデータが含まれ得る。ギフトオブジェクトには、エフェクトオブジェクトと、通常オブジェクトと、装飾オブジェクトと、が含まれ得る。視聴ユーザは、所望のギフトオブジェクトを購入することができる。 In addition to the above, the object data 23b may include data for displaying a gift object displayed in a moving image based on a display request from a viewing user of the client devices 10a to 10c. The gift object may include an effect object, a normal object, and a decoration object. The viewing user can purchase the desired gift object.
 エフェクトオブジェクトは、配信動画の視聴画面全体の印象に影響を与えるオブジェクトであり、例えば紙吹雪を模したオブジェクトである。紙吹雪を模したオブジェクトは、視聴画面全体に表示されてもよく、これにより表示の前後における視聴画面全体の印象を変えることができる。エフェクトオブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。 The effect object is an object that affects the impression of the entire viewing screen of the distributed video, and is an object that imitates confetti, for example. The object imitating confetti may be displayed on the entire viewing screen, and thus the impression of the entire viewing screen before and after the display can be changed. The effect object may be displayed so as to overlap the character object, but is different from the decoration object in that the effect object is not displayed in association with a specific part of the character object.
 通常オブジェクトは、視聴ユーザからアクター(例えば、アクターA1)又は動画内のキャラクタへのデジタル的なギフトとなるオブジェクトであり、例えばぬいぐるみや花束を模したオブジェクトである。一態様において、通常オブジェクトは、キャラクタオブジェクトと接しないように動画の表示画面に表示される。一態様において、通常オブジェクトは、キャラクタオブジェクトと重複しないように動画の表示画面に表示される。通常オブジェクトは、仮想空間においてキャラクタオブジェクト以外のオブジェクトと重複するように表示されてもよい。通常オブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。一態様において、通常オブジェクトをキャラクタオブジェクトと重複して表示させる場合には、当該通常オブジェクトは、当該キャラクタオブジェクトの顔を含む頭部以外の部分と重複し、当該キャラクタオブジェクトの頭部とは重複しないように表示される。 A normal object is an object that serves as a digital gift from a viewing user to an actor (for example, actor A1) or a character in a moving image, for example, an object that imitates a stuffed animal or a bouquet. In one aspect, the normal object is displayed on the display screen of the moving image so as not to contact the character object. In one aspect, the normal object is displayed on the moving image display screen so as not to overlap with the character object. The normal object may be displayed so as to overlap an object other than the character object in the virtual space. The normal object may be displayed so as to overlap the character object, but is different from the decoration object in that it is not displayed in association with a specific part of the character object. In one aspect, when the normal object is displayed overlapping with the character object, the normal object overlaps with a portion other than the head including the face of the character object, and does not overlap with the head of the character object. Is displayed.
 装飾オブジェクトは、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示されるオブジェクトである。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位に接するように表示画面に表示される。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位の一部又は全部を覆うように表示画面に表示される。 Decorative object is an object displayed on the display screen in association with a specific part of the character object. In one aspect, the decoration object displayed on the display screen in association with the specific part of the character object is displayed on the display screen so as to be in contact with the specific part of the character object. In one aspect, the decoration object displayed on the display screen in association with the specific part of the character object is displayed on the display screen so as to cover a part or all of the specific part of the character object.
 装飾オブジェクトは、例えば、キャラクタオブジェクトに装着されるアクセサリ(カチューシャ、ネックレス、イヤリングなど)、衣服(Tシャツなど)、コスチューム、及びこれら以外のキャラクラオブジェクトが装着可能なオブジェクトである。装飾オブジェクトに対応するオブジェクトデータ23bには、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着位置情報が含まれてもよい。ある装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に装着されるかを示すことができる。例えば、装飾オブジェクトがカチューシャである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「頭部」に装着されることを示してもよい。装飾オブジェクトがTシャツである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「胴部」に装着されることを示してもよい。 Decorative objects are, for example, accessories (headbands, necklaces, earrings, etc.), clothes (T-shirts, etc.), costumes, and other character objects that can be attached to the character object. The object data 23b corresponding to the decoration object may include mounting position information indicating which part of the character object the decoration object is associated with. The mounting position information of a certain decoration object can indicate which part of the character object the decoration object is mounted. For example, when the decoration object is a headband, the mounting position information of the decoration object may indicate that the decoration object is mounted on the “head” of the character object. When the decoration object is a T-shirt, the mounting position information of the decoration object may indicate that the decoration object is mounted on the “body” of the character object.
 ギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよい。一態様において、装飾オブジェクトの表示時間は、エフェクトオブジェクトの表示時間及び通常オブジェクトの表示時間よりも長く設定されていてもよい。例えば、装飾オブジェクトの表示時間は60秒間に設定され、エフェクトオブジェクトの表示時間は5秒間に設定され、通常オブジェクトの表示時間は10秒間に設定されてもよい。 Display time may be set for each gift object according to its type. In one aspect, the display time of the decoration object may be set longer than the display time of the effect object and the display time of the normal object. For example, the display time of the decoration object may be set to 60 seconds, the display time of the effect object may be set to 5 seconds, and the display time of the normal object may be set to 10 seconds.
 オブジェクトデータ23bには、動画配信システム1のユーザが保有しているギフトオブジェクトを示すリストが含まれてもよい。保有リストにおいては、ユーザのアカウント情報と対応づけて、当該視聴ユーザが保有するギフトオブジェクトを特定するオブジェクトIDが記憶されてもよい。ユーザのアカウント情報は、例えば、ユーザを識別するユーザIDである。このユーザには、例えば、クライアント装置10a~クライアント装置10cの第1視聴ユーザ~第3視聴ユーザが含まれてもよい。 The object data 23b may include a list indicating the gift objects held by the user of the video distribution system 1. In the possession list, an object ID that identifies the gift object possessed by the viewing user may be stored in association with the user account information. The user account information is, for example, a user ID that identifies the user. The users may include, for example, first to third viewing users of the client device 10a to the client device 10c.
 図3に示すように、ユーザデータ23cは、動画配信システム1の各ユーザ(例えば、視聴ユーザ)のアカウント情報と、各ユーザが利用するアバタに関するアバタ情報と、各ユーザが属するグループに関するグループ情報と、を含むことができる。言い換えると、ストレージ23には、動画配信システム1の各ユーザのアカウント情報と対応付けて、各ユーザが利用するアバタに関するアバタ情報、各ユーザが属するグループに関するグループ情報、及びこれら以外のユーザに関する情報が記憶され得る。あるユーザのアカウント情報は、例えば、当該ユーザを識別するユーザIDである。ユーザのユーザIDは、当該ユーザがクライアント装置10a~クライアント装置10cを利用してサーバ装置20から提供される動画サービスへの利用登録を行うときに発行されてもよい。視聴アプリを利用してサーバ装置20のサービスを利用する場合と配信アプリを利用してサーバ装置20のサービスを利用する場合とで共通のユーザIDが用いられてもよいし、視聴アプリを利用してサーバ装置20のサービスを利用する場合と配信アプリを利用してサーバ装置20のサービスを利用する場合とで別個のユーザIDが用いられてもよい。視聴アプリを利用してサーバ装置20のサービスを利用する場合と配信アプリを利用してサーバ装置20のサービスを利用する場合とで別個のユーザIDが用いられる場合には、同一のユーザの視聴アプリを利用するためのユーザID(視聴用ユーザID)と配信アプリを利用するためのユーザID(配信用ユーザID)とは互いに対応付けられて記憶されてもよい。視聴アプリを利用して受けることができるサーバ装置20のサービスは、例えば、サーバ装置20から配信される動画の視聴サービスである。配信アプリを利用して受けることができるサーバ装置20のサービスは、例えば、自らのキャラクタオブジェクトを含む動画の配信を行うサービスである。 As illustrated in FIG. 3, the user data 23c includes account information of each user (for example, a viewing user) of the video distribution system 1, avatar information regarding an avatar used by each user, and group information regarding a group to which each user belongs. , Can be included. In other words, the storage 23 stores avatar information about avatars used by each user, group information about groups to which each user belongs, and information about users other than these in association with the account information of each user of the video distribution system 1. Can be remembered. The account information of a certain user is, for example, a user ID that identifies the user. The user ID of the user may be issued when the user uses the client device 10a to the client device 10c to perform usage registration for the moving image service provided from the server device 20. A common user ID may be used when the service of the server device 20 is used by using the viewing application and when the service of the server device 20 is used by using the distribution application. Different user IDs may be used when the service of the server device 20 is used and when the service of the server device 20 is used by using the distribution application. When different user IDs are used when using the service of the server device 20 using the viewing application and when using the service of the server device 20 using the distribution application, the viewing application of the same user The user ID (user ID for viewing) for using and the user ID (user ID for distribution) for using the distribution application may be stored in association with each other. The service of the server device 20 that can be received using the viewing application is, for example, a viewing service of a moving image distributed from the server device 20. The service of the server device 20 that can be received using the distribution application is, for example, a service that distributes a moving image including its own character object.
 あるユーザのアバタ情報は、例えば、当該ユーザが動画システム1内で利用するアバタを識別するアバタIDである。アバタIDは、ユーザがアバタの登録を行うことにより当該ユーザに割り当てられる。アバタの登録は、アバタを構成する頭部、ヘアスタイル、服、アクセサリ、及びこれら以外のパーツをユーザが選択することにより行われる。アバタの登録は、配信アプリがインストールされたクライアント装置10a~10cによって行われてもよい。つまり、アバタの登録は、配信アプリの機能を実行することにより行われてもよい。一実施形態においては、アバタの登録は、クライアント装置10a~クライアント装置10cのうち配信アプリがインストールされたクライアント装置によって行われ、配信アプリがインストールされていないクライアント装置からは実行できなくてもよい。アバタの登録は、配信アプリケーションとは別のアバタを作成、編集、及び/又は登録する機能を有するアプリケーションソフトウェア(以下、「アバタ作成アプリ」と呼ぶことがある。)によって行われてもよい。配信アプリ及び/又はアバタ作成アプリによってアバタの登録を行う場合にも、図3を参照して説明したように、当該アバタを識別するアバタIDを割り当て、当該アバタIDをユーザのユーザIDと対応付けてユーザ情報として管理してもよい。ユーザは、アバタを登録した後に、当該アバタを変更することができる。例えば、アバタの登録後に、当該アバタのパーツの一部又は全部を変更することができる。例えば、登録後であっても、アバタのヘアスタイル、所持アイテム、及びこれら以外のアバタを構成するパーツを変更することができる。 The avatar information of a user is, for example, an avatar ID that identifies the avatar used by the user in the video system 1. The avatar ID is assigned to the user when the user registers the avatar. Registration of the avatar is performed by the user selecting a head, a hairstyle, clothes, an accessory, and other parts constituting the avatar. Registration of the avatar may be performed by the client devices 10a to 10c in which the distribution application is installed. That is, the registration of the avatar may be performed by executing the function of the distribution application. In one embodiment, the registration of the avatar is performed by the client device of the client devices 10a to 10c in which the distribution app is installed, and may not be executed by the client device in which the distribution app is not installed. Registration of an avatar may be performed by application software having a function of creating, editing, and/or registering an avatar different from the distribution application (hereinafter, may be referred to as “avatar creation application”). Also when registering an avatar by the distribution application and/or the avatar creation application, as described with reference to FIG. 3, the avatar ID for identifying the avatar is assigned and the avatar ID is associated with the user ID of the user. It may be managed as user information. The user can change the avatar after registering the avatar. For example, after registration of the avatar, some or all of the parts of the avatar can be changed. For example, even after the registration, the hair style of the avatar, the possessed item, and the parts constituting the avatar other than these can be changed.
 あるユーザのグループ情報は、当該ユーザが所属するグループを識別する所属グループIDである。動画配信システム1のユーザが所属できるグループには、例えば、第1グループ及び第2グループが含まれる。配信システム1のユーザは、第1グループ及び第2グループのいずれかに所属する。第2グループは、第1グループとは異なるグループである。ユーザが第1グループに所属するか第2グループに所属するかは様々な態様で決定され得る。ユーザが第1グループと第2グループのいずれに所属するかを決定するためには、必ずしもグループIDを使用する必要はない。例えば、ユーザデータにおいて、第1グループに属するユーザのレコードにフラグを設定しておき、第2グループに属するユーザのレコードにフラグを設定しないようにすれば、ユーザが第1グループと第2グループのいずれに所属するかを決定することができる。ユーザがいずれのグループに所属するかは様々な基準で定められ得る。例えば、第1グループには動画システム1へのエンゲージメントが比較的高いユーザを所属させ、第2グループには動画システム1へのエンゲージメントが比較的低いユーザを所属させることができる。あるユーザの動画システム1へのエンゲージメントは、例えばポイントで表される。ユーザが動画システム1を利用すると、その利用態様に応じて当該ユーザのポイントが増減し得る。あるユーザのポイントは、例えば、動画を視聴すること、動画を配信すること、動画に対してコメントを投稿すること、動画を配信する配信者に対してギフティングをすること、ギフト(ギフトオブジェクト)を購入すること、動画システム1にログインすること、動画を視聴するためのアプリケーションソフトウェアを起動すること、動画システム1が提供するソーシャルネットワーキングサービスにおいて他のユーザへメッセージを送ること、当該ソーシャルネットワーキングサービスにおいて他のユーザから肯定的な評価を受けること、及びこれら以外の動画システム1の利用に応じて増加し得る。あるユーザのポイントは、例えば、動画の配信者から視聴を禁止されること(ブロックされること)、投稿したコメントが削除されたこと、動画システム1が提供するソーシャルネットワーキングサービスにおいて他のユーザから否定的な評価を受けること、及びこれら以外の動画システム1の利用に応じて減少し得る。ポイントの増減と関連付けられるユーザの行動は上記のものに限定されない。ユーザのポイントは、当該ユーザと配信ユーザや他の視聴ユーザとのつながりを強める当該ユーザの行動によって増加し、逆に、当該ユーザと配信ユーザや他の視聴ユーザとのつながりを弱める当該ユーザの行動によって減少してもよい。 The group information of a user is a group ID that identifies the group to which the user belongs. The groups to which the user of the moving image distribution system 1 can belong include, for example, a first group and a second group. The user of the distribution system 1 belongs to either the first group or the second group. The second group is a group different from the first group. Whether the user belongs to the first group or the second group can be determined in various ways. The group ID does not necessarily have to be used to determine whether the user belongs to the first group or the second group. For example, in the user data, if the flag of the user belonging to the first group is set and the flag of the user belonging to the second group is not set, the user is classified into the first group and the second group. You can decide which one you belong to. Which group a user belongs to can be determined by various criteria. For example, a user having a relatively high engagement with the video system 1 can belong to the first group, and a user with a relatively low engagement with the video system 1 can belong to the second group. Engagement of a certain user with the video system 1 is represented by points, for example. When the user uses the moving image system 1, the points of the user can be increased or decreased according to the usage mode. The point of a certain user is, for example, watching a video, distributing a video, posting a comment to a video, giving a gift to a distributor who distributes a video, and giving a gift (gift object). Purchasing, logging in to the video system 1, launching application software for watching videos, sending messages to other users in the social networking service provided by the video system 1, and in the social networking service. It may increase according to the positive evaluation from other users and the use of the moving image system 1 other than these. The point of a certain user is, for example, that the distribution of the video is prohibited from being viewed (blocked), that the posted comment is deleted, and that the social networking service provided by the video system 1 is denied by another user. It is possible to decrease according to receiving a general evaluation and using the moving image system 1 other than these. The behavior of the user associated with the increase or decrease of points is not limited to the above. The point of the user increases by the action of the user that strengthens the connection between the user and the distribution user or other viewing users, and conversely, the action of the user that weakens the connection between the user and the distribution user or other viewing users. May be reduced by
 一態様において、第1グループは、第2グループよりも少ない数のユーザから構成される。ユーザは、動画配信システム1への利用登録を行う際には、第2グループに分類され、動画配信システム1の利用開始後に、第1グループに分類されるための基準を満たすと、第2グループを離脱して第1グループの所属とされてもよい。動画配信システム1への利用登録時にはグループ分けを行わずに、利用開始後に一定の条件を満たしたユーザのみを第1グループに所属させてもよい。ユーザが第1グループに属するか否かは、例えば、ユーザデータに第1グループに所属するユーザを識別するためのフラグを設定し、当該フラグを参照することで決定することができる。利用開始したユーザを第2グループに所属させることにより、第1グループに所属するユーザの数を第2グループに所属するユーザの数よりも少なくすることができる。ユーザは、動画配信システム1の利用態様に応じて所属するグループが変更されてもよい。ユーザは、第1グループに分類されるための基準を満たさなくなった場合には、第1グループから第2グループへ所属グループが変更されてもよい。 In one aspect, the first group is composed of a smaller number of users than the second group. The user is classified into the second group when registering for use in the video distribution system 1, and when the user satisfies the criteria for being classified into the first group after starting the use of the video distribution system 1, the second group is displayed. May be left to be assigned to the first group. It is also possible that only the users who satisfy a certain condition after the start of use are allowed to belong to the first group without performing grouping at the time of use registration for the video distribution system 1. Whether or not the user belongs to the first group can be determined, for example, by setting a flag for identifying the user who belongs to the first group in the user data and referring to the flag. By making the user who has started to use belong to the second group, the number of users who belong to the first group can be made smaller than the number of users who belong to the second group. The group to which the user belongs may be changed according to the usage mode of the moving image distribution system 1. The user may change the group to which the user belongs from the first group to the second group when the criterion for classification into the first group is not satisfied.
 一態様において、第1グループに属するユーザの数が第2グループに属するユーザの数よりも少ない状態が維持されるように、第1グループへの分類基準が調整されてもよい。例えば、サーバ装置20は、第1グループに属するユーザの数及び第2グループに属するユーザの数をモニターし、その差が所定数よりも小さくなった場合には、第1グループへ分類されるための基準を厳しくしてもよい。例えば、当初は、100ポイント以上のポイントを有するユーザを第1グループに分類している場合において、第1グループに属するユーザの数と第2グループに属するユーザの数との差が所定の値よりも小さくなったことを契機として、200ポイント以上のポイントを有するユーザを第1グループに分類するように基準を変更しても良い。 In one aspect, the classification criteria for the first group may be adjusted so that the number of users belonging to the first group is kept smaller than the number of users belonging to the second group. For example, the server device 20 monitors the number of users belonging to the first group and the number of users belonging to the second group, and if the difference is smaller than a predetermined number, the server device 20 is classified into the first group. The criteria for may be strict. For example, initially, when users having 100 points or more are classified into the first group, the difference between the number of users belonging to the first group and the number of users belonging to the second group is larger than a predetermined value. The criterion may be changed so that users having 200 points or more are classified into the first group when the value becomes smaller.
 一態様において、第1グループに属するユーザの上限数が決められていてもよい。この場合、動画配信システム1のユーザについてポイント数のランキングを作成し、当該ランキングのトップから上限数に達するまでのユーザを第1グループに所属させてもよい。ランキングの上位にいるユーザの全てが動画配信システム1にログインしているとは限らないため、動画システム1にログインしているユーザのランキングを作成し、当該ランキングにおいてトップから上限数に達するまでのユーザを第1グループに所属させてもよい。 In one aspect, the upper limit number of users belonging to the first group may be determined. In this case, a ranking of the number of points may be created for users of the moving image distribution system 1, and users from the top of the ranking to the upper limit may be included in the first group. Since not all users in the top rankings are logged in to the video distribution system 1, a ranking of users who are logged in to the video system 1 is created, and the rankings from the top to the upper limit are reached. The user may belong to the first group.
 グループ分けのために参照される各ユーザのポイントは、動画システム1全体で共通の共通ポイントであってもよいし、配信ユーザごとに管理される個別ポイントであってもよい。例えば、あるユーザに関して、配信ユーザAについての個別ポイントと、配信ユーザBについての個別ポイントとが別個に管理されてもよい。配信者Aが配信する動画(すなわち、配信者Aのキャラクタオブジェクトが含まれる動画)においては、この配信者Aについて管理されている個別ポイントのランキングを作成し、当該ランキングにおいてトップから上限数に達するまでのユーザを第1グループに所属させてもよい。これにより、動画システム1全体に共通の共通ポイントのランキングでは第2グループに属するユーザを、特定の配信ユーザに関しては第1グループに所属させることもできる。このように個別ポイントを管理することにより、各ユーザの配信ユーザに対する個別のエンゲージメントの程度に応じて、当該配信ユーザに関するグループ分けを行うことができる。 The points of each user referred to for grouping may be common points common to the entire video system 1 or individual points managed for each distribution user. For example, regarding a certain user, the individual points for the distribution user A and the individual points for the distribution user B may be managed separately. In the moving image distributed by the distributor A (that is, the moving image including the character object of the distributor A), a ranking of individual points managed for this distributor A is created, and the upper limit number is reached from the top in the ranking. The users up to may belong to the first group. As a result, users belonging to the second group in the ranking of common points common to the entire moving image system 1 can be made to belong to the first group for specific distribution users. By managing the individual points in this way, the distribution users can be grouped according to the degree of individual engagement of each user with the distribution users.
 以上のように、ユーザのポイントが所定の閾値よりも高い場合に、当該ユーザは第1グループの所属とされ、逆に、当該ユーザのポイントが所定の閾値よりも低い場合に、当該ユーザは第2グループの所属とされる。これにより、閾値より高いポイントを有するユーザを第1グループに所属させ、閾値よりも低いポイントを有するユーザを第2グループに所属させることができる。ポイントが動画システム1に対するエンゲージメントを表す場合には、第1グループには動画システム1に対するエンゲージメントが比較的高いユーザを所属させることができ、第2グループには動画システム1に対するエンゲージメントが比較的低いユーザを所属させることができる。 As described above, when the point of the user is higher than the predetermined threshold, the user is considered to belong to the first group, and conversely, when the point of the user is lower than the predetermined threshold, the user is the first group. Belonging to two groups. Thereby, a user having a point higher than the threshold can belong to the first group, and a user having a point lower than the threshold can belong to the second group. If the points represent engagement with the video system 1, users having a relatively high engagement with the video system 1 can belong to the first group, and users with a relatively low engagement with the video system 1 can belong to the second group. Can be assigned.
 ユーザのグループ分けは、本明細書で具体的に説明するものには限定されない。ユーザは、3つ以上のグループに分類されてもよい。また、ユーザがどのグループに所属するかを定める分類基準は適宜変更され得る。 User grouping is not limited to what is specifically described in this specification. Users may be classified into three or more groups. Further, the classification standard that determines which group the user belongs to can be changed as appropriate.
 図4に示すように、アバタデータ23dは、動画配信システム1でユーザによって利用されるアバタのアタバ識別情報と、当該アバタを動画内に表示するためのアバタ表示情報と、を含むことができる。言い換えると、ストレージ23には、アバタのアタバ識別情報と対応付けて、当該アバタを表示するためのアバタ表示情報が記憶され得る。アタバ識別情報は、例えば、アバタを識別するアバタIDである。アバタは、例えば、人間や動物を模した画像として動画内に表示される。アバタ表示情報は、アバタを動画内に表示するために用いられる情報である。アバタ情報には、例えば、頭部、ヘアスタイル、顔のパーツ(目、鼻、口など)、胴部、服、アクセサリ、アイテム、及びこれら以外のアバタを構成するパーツの画像を示すパーツ情報が含まれる。ユーザは、好みのパーツ画像を選択することで自らのアバタを登録することができる。アバタ表示情報には、動画にアバタを2D表示するための2D表示情報と、動画にアバタを3D表示するための3D表示情報とが含まれてもよい。3D表示情報には、アバタを動画内で立体的に表示するためのパーツの画像を示すパーツ情報、アバタの3次元での動きを表現するためのリグデータ、及びこれら以外のアバタを立体的に表示するために用いられている公知の情報を含む。 As shown in FIG. 4, the avatar data 23d can include avatar identification information of an avatar used by the user in the video distribution system 1 and avatar display information for displaying the avatar in the video. In other words, the storage 23 can store avatar display information for displaying the avatar in association with the avatar identification information of the avatar. The avatar identification information is, for example, an avatar ID that identifies the avatar. The avatar is displayed in the moving image as an image simulating a human being or an animal, for example. The avatar display information is information used to display the avatar in the moving image. The avatar information includes, for example, a head, a hairstyle, parts of the face (eyes, nose, mouth, etc.), a torso, clothes, accessories, items, and parts information indicating images of parts other than these, which form the avatar. included. The user can register his or her avatar by selecting a desired part image. The avatar display information may include 2D display information for displaying the avatar in 2D on the moving image and 3D display information for displaying the avatar in 3D on the moving image. In the 3D display information, part information indicating an image of a part for stereoscopically displaying an avatar in a moving image, rig data for expressing a three-dimensional movement of the avatar, and avatars other than these are stereoscopically displayed. Includes known information used to do this.
 視聴ユーザは、動画配信システム1から配信されている動画に自らのアバタを参加させることができる。ストレージ23に記憶される参加管理データ23eは、動画に参加しているアバタを管理するためのデータである。図5に示されているように、参加管理データ23eは、動画配信システム1において配信されている動画を識別する動画識別情報と、当該動画に参加可能なアバタの上限数を定める参加制限情報と、動画に参加しているアバタを示す参加アバタ情報と、を含むことができる。動画識別情報は、例えば、動画を識別する動画IDである。ある動画についての参加制限情報は、例えば、当該動画に参加可能なアバタの数の上限である。参加制限情報には、後述する仮想空間の第2領域に配置可能なアバタの数の上限である第2上限数を含んでもよい。参加制限情報には、第2上限数に加えて、後述する仮想空間の第1領域に配置可能なアバタの数の上限である第1上限数を含んでもよい。ある動画についての参加アバタ情報は、当該動画に参加しているアバタを識別するアバタIDであってもよい。ある動画に複数のアバタが参加している場合には、参加アバタ情報には、当該複数のアバタの各々のアバタIDが含まれる。 The viewing user can have his or her avatar participate in the video distributed from the video distribution system 1. The participation management data 23e stored in the storage 23 is data for managing the avatars participating in the moving image. As shown in FIG. 5, the participation management data 23e includes moving image identification information for identifying a moving image distributed in the moving image distribution system 1, and participation restriction information for defining an upper limit number of avatars that can participate in the moving image. , And participation avatar information indicating the avatars participating in the video. The moving image identification information is, for example, a moving image ID that identifies a moving image. The participation restriction information for a video is, for example, an upper limit of the number of avatars that can participate in the video. The participation restriction information may include a second upper limit number that is the upper limit of the number of avatars that can be arranged in the second area of the virtual space described later. The participation restriction information may include, in addition to the second upper limit number, a first upper limit number that is an upper limit of the number of avatars that can be arranged in the first area of the virtual space described below. The participating avatar information regarding a certain moving image may be an avatar ID that identifies an avatar participating in the moving image. When a plurality of avatars participate in a certain moving image, the participating avatar information includes the avatar ID of each of the plurality of avatars.
 次に、コンピュータプロセッサ21により実現される機能についてより具体的に説明する。コンピュータプロセッサ21は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、ボディモーションデータ生成部21a、フェイスモーションデータ生成部21b、アニメーション生成部21c、動画生成部21d、動画配信部21e、ギフト処理部21f、参加要求処理部21g、アバタ表示部21h、アバタ制御部21i、及び表示要求処理部21jとして機能する。コンピュータプロセッサ21により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21により実現される機能の少なくとも一部は、例えば、サポーターコンピュータ40に搭載されているコンピュータプロセッサ又はそれ以外の不図示のコンピュータプロセッサにより実現されてもよい。例えば、クライアント装置10で動画を生成する場合には、アニメーション生成部21c、動画生成部21d、及びこれら以外のクライアント装置10で動画を生成するための機能は、クライアント装置10に備えられたコンピュータプロセッサにより実現されてもよい。 Next, the functions realized by the computer processor 21 will be described more specifically. The computer processor 21 executes a computer-readable instruction included in the distribution program to generate a body motion data generation unit 21a, a face motion data generation unit 21b, an animation generation unit 21c, a moving image generation unit 21d, a moving image distribution unit 21e, It functions as a gift processing unit 21f, a participation request processing unit 21g, an avatar display unit 21h, an avatar control unit 21i, and a display request processing unit 21j. At least a part of the functions realized by the computer processor 21 may be realized by a computer processor other than the computer processor 21 of the moving image distribution system 1. At least a part of the functions realized by the computer processor 21 may be realized by, for example, a computer processor installed in the supporter computer 40 or another computer processor (not shown). For example, when a moving image is generated by the client device 10, the animation generation unit 21c, the moving image generation unit 21d, and other functions for generating a moving image by the client device 10 include a computer processor provided in the client device 10. May be realized by
 ボディモーションデータ生成部21aは、モーションセンサ31a~31fの各々の検出情報に基づいて、アクターA1の体の各部位のボディモーションデータを生成する。ボディモーションデータは、時間の経過に伴って随時生成される。例えば、ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、ボディモーションデータは、アクターA1の体の動きを時系列的にデジタルデータとして表現することができる。図示の実施形態においては、モーションセンサ31a~31fは、アクターA1の各々の左右の手足、腰、及び頭部に装着されているため、モーションセンサ31a~31fの検出情報に基づいて、アクターA1の概ね全身の位置及び向きを経時的にデジタル表現することが可能である。ボディモーションデータは、例えば、モデルデータ23aに含まれるリグデータを構成する骨(ボーン)の位置及び回転角度を規定することができる。 The body motion data generation unit 21a generates body motion data of each part of the body of the actor A1 based on the detection information of each of the motion sensors 31a to 31f. Body motion data is generated as needed over time. For example, the body motion data may be generated every predetermined sampling time interval. In this way, the body motion data can represent the movement of the body of the actor A1 in time series as digital data. In the illustrated embodiment, the motion sensors 31a to 31f are attached to the left and right limbs, hips, and head of each of the actors A1, and therefore, based on the detection information of the motion sensors 31a to 31f. It is possible to digitally represent the position and orientation of the entire body over time. The body motion data can define, for example, the position and rotation angle of the bone that constitutes the rig data included in the model data 23a.
 フェイスモーションデータ生成部21bは、カメラ37aの撮像データに基づいて、アクターA1の顔の動きのデジタル表現であるフェイスモーションデータを生成する。フェイスモーションデータは、時間の経過に伴って随時生成される。例えば、フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、フェイスモーションデータは、アクターA1の顔の動き(表情の変化)を時系列的にデジタル表現することができる。 The face motion data generation unit 21b generates face motion data, which is a digital expression of the movement of the face of the actor A1 based on the imaged data of the camera 37a. Face motion data is generated as needed over time. For example, the face motion data may be generated every predetermined sampling time interval. In this way, the face motion data can digitally represent the movement of the face (change of facial expression) of the actor A1 in time series.
 アニメーション生成部21cは、ボディモーションデータ生成部21aによって生成されたボディモーションデータ及びフェイスモーションデータ生成部21bによって生成されたフェイスモーションデータを、モデルデータ23aに含まれる所定のモデルデータに適用することにより、仮想空間内で動き、また、表情が変化するキャラクタオブジェクトのアニメーションを生成するように構成される。具体的には、アニメーション生成部21cは、アクターA1に関するボディモーションデータ及びフェイスモーションデータに基づいて、アクターA1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。 The animation generation unit 21c applies the body motion data generated by the body motion data generation unit 21a and the face motion data generated by the face motion data generation unit 21b to predetermined model data included in the model data 23a. , Is configured to generate an animation of a character object that moves in a virtual space and whose facial expression changes. Specifically, the animation generation unit 21c can generate an animation of a character object that moves in synchronization with the movement of the body and facial expression of the actor A1 based on the body motion data and face motion data regarding the actor A1.
 動画生成部21dは、オブジェクトデータ23bを用いて仮想空間を構築し、この仮想空間と、アクターA1に対応するキャラクタオブジェクトのアニメーションと、を含む動画を生成する。より具体的には、動画生成部21dは、仮想空間とキャラクタオブジェクトのアニメーションとを含む動画フレームのシーケンスを生成する。アクターA1のキャラクタオブジェクトは、デジタルカメラ36aに対するアクターA1の位置に合致するように仮想空間内に配置されてもよい。 The moving image generation unit 21d constructs a virtual space using the object data 23b, and generates a moving image including this virtual space and the animation of the character object corresponding to the actor A1. More specifically, the moving image generation unit 21d generates a sequence of moving image frames including the virtual space and the animation of the character object. The character object of the actor A1 may be arranged in the virtual space so as to match the position of the actor A1 with respect to the digital camera 36a.
 一態様において、動画生成部21dは、仮想カメラの設定情報(仮想空間内での位置、注視位置、注視方向、及び画角)を定め、この仮想カメラの設定情報に基づいて仮想空間全体のうちの描画領域を定め、この仮想空間の描画領域を表示するための動画情報を生成する。 In one aspect, the moving image generation unit 21d determines the setting information (position in the virtual space, gaze position, gaze direction, and angle of view) of the virtual camera, and based on the setting information of the virtual camera, The drawing area is defined, and moving image information for displaying the drawing area in the virtual space is generated.
 動画生成部21dは、生成した動画に、スタジオユニット30のマイクから取得したアクターA1の音声を合成することができる。以上のようにして、動画生成部21dは、アクターA1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーション生成し、このアニメーションにアクターA1の音声が合成された配信用の動画を生成することができる。 The video generation unit 21d can synthesize the voice of the actor A1 acquired from the microphone of the studio unit 30 with the generated video. As described above, the moving image generating unit 21d generates an animation of a character object that moves in synchronization with the movement of the body and facial expression of the actor A1 and generates a moving image for distribution in which the voice of the actor A1 is synthesized with this animation. be able to.
 動画生成部21dは、動画の配信前に、当該動画に参加する可能性のあるアバタについて、当該アバタの表示に必要なアバタ表示情報をロードすることができる。動画生成部21dは、アバタ表示情報のうち、ロードに時間がかかりまたロードのための処理負荷が大きい3D表示情報をロードすることができる。例えば、動画生成部21dは、第1グループに属するユーザのアバタを表示するために必要なアバタ表示情報をストレージ23から読み出してロードすることができる。一実施形態において、動画生成部21dは、第1グループに属するユーザのアバタを3D表示するために必要な3D表示情報をストレージ23から読み出してロードすることができる。 Before the distribution of the video, the video generation unit 21d can load the avatar display information necessary for displaying the avatar that may participate in the video. Of the avatar display information, the moving image generation unit 21d can load the 3D display information that takes a long time to load and has a large processing load for loading. For example, the moving image generation unit 21d can read the avatar display information necessary to display the avatars of the users belonging to the first group from the storage 23 and load the avatar display information. In one embodiment, the moving image generation unit 21d can read the 3D display information necessary for displaying the avatars of the users belonging to the first group in 3D from the storage 23 and load the 3D display information.
 一実施形態において、動画生成部21dは、第1上限数以下の数のアバタの3D表示情報をロードすることができる。一実施形態において、動画生成部21dは、第1上限数と第2上限数の合計以下の数のアバタの3D表示情報をロードすることができる。 In one embodiment, the moving image generation unit 21d can load 3D display information of avatars whose number is equal to or less than the first upper limit number. In one embodiment, the moving image generation unit 21d may load 3D display information of avatars whose number is equal to or less than the sum of the first upper limit number and the second upper limit number.
 このロードされたアバタ表示情報は、ユーザからの参加要求に基づいてアバタを動画に表示させる場合に参照され得る。アタバを動画中に表示させる場合におけるロードされたアバタ表示情報の利用に関しては後述する。 The loaded avatar display information can be referred to when displaying the avatar on the video based on the participation request from the user. The use of the loaded avatar display information when displaying the avatar in the moving image will be described later.
 動画配信部21eは、動画生成部21dにおいて生成された動画を配信する。この動画は、ネットワーク15を介してクライアント装置10a~クライアント装置10c及びこれら以外のクライアント装置に配信される。受信された動画は、クライアント装置10a~クライアント装置10cにおいて再生される。この動画は、スタジオルームR内に設置されているクライアント装置(不図示)に配信され、このクライアント装置から短焦点プロジェクタを介してスクリーンSに投影されてもよい。また、この動画は、サポーターコンピュータ40に配信されてもよい。これにより、サポーターB1及びサポーターB2は、配信されている動画の視聴画面を確認することができる。 The video distribution unit 21e distributes the video generated by the video generation unit 21d. This moving image is distributed via the network 15 to the client devices 10a to 10c and other client devices. The received moving image is reproduced on the client devices 10a to 10c. The moving image may be distributed to a client device (not shown) installed in the studio room R and projected from the client device on the screen S via the short focus projector. Further, this moving image may be distributed to the supporter computer 40. Thereby, the supporter B1 and the supporter B2 can confirm the viewing screen of the distributed video.
 動画配信部21eから配信される動画の生成及び/又は配信に関与しているユーザを配信ユーザと呼ぶことがある。上記の例では、サーバ装置20から配信される動画は、アクターA1のボディモーションデータ及びフェイスモーションデータに基づいて生成されるキャラクタオブジェクトを含んでおり、必要に応じてサポーターB1及びサポーターB2の協力を得て配信されている。このため、アクターA1、サポーターB1、及びサポーターB2のそれぞれが「配信ユーザ」とされてもよいし、アクターA1、サポーターB1、及びサポーターB2を集合的に「配信ユーザ」としてもよい。 A user who is involved in generation and/or distribution of a moving image distributed from the moving image distribution unit 21e may be referred to as a distribution user. In the above example, the moving image distributed from the server device 20 includes the character object generated based on the body motion data and the face motion data of the actor A1, and the supporter B1 and the supporter B2 may cooperate with each other as necessary. It is obtained and distributed. Therefore, each of the actor A1, the supporter B1, and the supporter B2 may be a “delivery user”, or the actor A1, the supporter B1, and the supporter B2 may be collectively a “delivery user”.
 動画生成部21dにより構築される仮想空間の例を図6に模式的に示す。仮想空間は、その中心位置の周りを覆う全天球形状の空間として定義される。仮想空間における位置は、当該仮想空間内に設定される三次元のグローバル座標系における座標値で指定される。ただし、説明の便宜上、図6には仮想空間の一部のみが示されており、図6においては座標系の表示も省略されている。図6においては、10人のユーザがアバタを介して動画に参加していることが想定されている。 An example of the virtual space constructed by the moving image generation unit 21d is schematically shown in FIG. The virtual space is defined as a space having a spherical shape that surrounds the center position. The position in the virtual space is designated by the coordinate value in the three-dimensional global coordinate system set in the virtual space. However, for convenience of explanation, only part of the virtual space is shown in FIG. 6, and the display of the coordinate system is also omitted in FIG. In FIG. 6, it is assumed that 10 users participate in the moving image via the avatar.
 図6に示されている仮想空間50は、アクターA1のキャラクタオブジェクト51と、5つの仮想カメラ53a~53eと、キャラクタオブジェクト51が配置されるステージを表すステージオブジェクト54と、アバタを示すアバタオブジェクト56a~56c、57a~57gと、が配置されている。ステージオブジェクト54には、キャラクタオブジェクト51が立つスタジオフロアに対応するフロアオブジェクト54aと、フロアオブジェクト54aの水平方向の一端においてフロアオブジェクト54aから垂直に延びるスクリーンオブジェクト54bと、を含んでいる。例えば、フロアオブジェクト54aは、仮想空間における水平方向に延伸し、スクリーンオブジェクト54bは仮想空間における鉛直方向に延伸している。この仮想空間50内には、第1領域52aと、第2領域52bと、が規定されている。図示の実施形態において、アバタオブジェクト56a~56cは、第1領域52a内に配置されており、アバタオブジェクト57a~57gは、第2領域52b内に配置されている。仮想空間50において、第1領域52aは、第2領域52bよりもキャラクタオブジェクト51の近くに配置されている。一実施形態において、キャラクタオブジェクト51は、フロアオブジェクト54a内に配置される。したがって、第1領域52aは、第2領域52bよりもフロアオブジェクト54aの近くに配置されている。仮想空間50における第1領域52a及び第2領域52bの位置は、図6に示されている位置に限定されない。第1領域52a及び第2領域52bは、仮想空間50内の任意の位置に配置され得る。例えば、第1領域52a及び第2領域52bは、フロアオブジェクト54a内に配置されてもよい。第1領域52a及び第2領域52bは、例えば、フロアオブジェクト54aにおいて、キャラクタオブジェクト51よりも仮想カメラ53aの視点から見て後方に配置されてもよい。一実施形態において、第1領域52aは、第1グループに属するユーザのアバタを表示するための領域であり、第2領域52bは、第2グループに属する(又は第1グループに属さない)ユーザのアバタを表示するための領域である。本明細書において、キャラクタオブジェクト51が配置される領域を第3領域ということがある。図示の例では、フロアオブジェクト54aが第3領域に相当する。仮想空間50内には、動画を視聴しているユーザから投稿されたコメントが表示されるコメント表示領域55a~55cが含まれている。コメント表示領域55a~55cは、仮想空間50におけるオブジェクトであってもよい。仮想空間50は、本明細書において明示的に説明されている態様には限定されない。仮想空間50には、本明細書で明示的に説明した以外の様々なオブジェクトが含まれ得る。 The virtual space 50 shown in FIG. 6 includes a character object 51 of the actor A1, five virtual cameras 53a to 53e, a stage object 54 representing the stage on which the character object 51 is arranged, and an avatar object 56a representing an avatar. 56c and 57a to 57g are arranged. The stage object 54 includes a floor object 54a corresponding to the studio floor on which the character object 51 stands, and a screen object 54b extending vertically from the floor object 54a at one horizontal end of the floor object 54a. For example, the floor object 54a extends in the horizontal direction in the virtual space, and the screen object 54b extends in the vertical direction in the virtual space. In this virtual space 50, a first area 52a and a second area 52b are defined. In the illustrated embodiment, the avatar objects 56a to 56c are arranged in the first area 52a, and the avatar objects 57a to 57g are arranged in the second area 52b. In the virtual space 50, the first area 52a is arranged closer to the character object 51 than the second area 52b. In one embodiment, the character object 51 is placed within the floor object 54a. Therefore, the first area 52a is arranged closer to the floor object 54a than the second area 52b. The positions of the first area 52a and the second area 52b in the virtual space 50 are not limited to the positions shown in FIG. The first area 52a and the second area 52b may be arranged at arbitrary positions in the virtual space 50. For example, the first area 52a and the second area 52b may be arranged in the floor object 54a. The first area 52a and the second area 52b may be arranged, for example, behind the character object 51 in the floor object 54a when viewed from the viewpoint of the virtual camera 53a. In one embodiment, the first area 52a is an area for displaying avatars of users belonging to the first group, and the second area 52b is for users belonging to the second group (or not belonging to the first group). This is an area for displaying avatars. In this specification, the area in which the character object 51 is arranged may be referred to as a third area. In the illustrated example, the floor object 54a corresponds to the third area. The virtual space 50 includes comment display areas 55a to 55c in which comments posted by a user who is watching a moving image are displayed. The comment display areas 55a to 55c may be objects in the virtual space 50. Virtual space 50 is not limited to the aspects explicitly described herein. Virtual space 50 may include various objects other than those explicitly described herein.
 仮想カメラ53a~53eは、仮想空間50において互いと異なる位置に配置されている。仮想カメラ53a~53eはいずれも、キャラクタオブジェクト51を向くように配置されている。動画生成部21dによって生成される動画を構成する画像は、仮想カメラ53a~53eの中から一つの仮想カメラを選択し、この選択された仮想カメラを視点として眺めた仮想空間50の描画領域を表示する画像である。仮想カメラ53a~53eの設定情報(仮想空間内での位置、注視位置、注視方向、及び画角)は、アクターA1、サポーターB1、サポーターB2、又はこれら以外のオペレータの操作により動画配信中に変更されてもよい。 The virtual cameras 53a to 53e are arranged at positions different from each other in the virtual space 50. All the virtual cameras 53a to 53e are arranged so as to face the character object 51. The images forming the moving image generated by the moving image generation unit 21d select one virtual camera from the virtual cameras 53a to 53e, and display the drawing area of the virtual space 50 viewed from the selected virtual camera as a viewpoint. It is an image. The setting information (position in virtual space, gaze position, gaze direction, and angle of view) of the virtual cameras 53a to 53e is changed during the video distribution by the operation of the actor A1, the supporter B1, the supporter B2, or an operator other than these. May be done.
 上記のように、第1領域52aには、3つのアバタオブジェクト56a~56cが配置されており、第2領域52bには、7つのアバタオブジェクト57a~57gが配置されている。一実施形態においては、第1領域52aに配置されるアバタの上限数である第1上限数、及び、第2領域52bに配置されるアバタの上限数である第2上限数が定められる。この第1上限数及び第2上限数は、参加管理データ23eとしてストレージ23に記憶されてもよい。 As described above, the three avatar objects 56a to 56c are arranged in the first area 52a, and the seven avatar objects 57a to 57g are arranged in the second area 52b. In one embodiment, the first upper limit number, which is the upper limit number of avatars arranged in the first region 52a, and the second upper limit number, which is the upper limit number of avatars arranged in the second region 52b, are defined. The first upper limit number and the second upper limit number may be stored in the storage 23 as the participation management data 23e.
 動画生成部21dによって生成され動画配信部21eによって配信される動画の表示例を図7a~図7fに示す。図7a~図7fは、動画配信部21eによって配信され、クライアント装置10a~10cにて再生されている動画を構成するフレームの画像(フレーム)を示している。以下、図7a~図7fの画像は、第1視聴ユーザが利用するクライアント装置10aに表示されていると想定して説明を行う。図7aの表示画面は、クライアント装置10aにおいて視聴アプリを実行してサーバ装置20から配信された動画を再生することにより、クライアント装置10aのディスプレイに表示されている。図7aは、仮想カメラ53aを視点として定められる描画領域として描画された画像60aの表示例を示している。ただし、画像60aを描画する時点では、第1視聴ユーザのアバタ56aは仮想空間50内に配置されていないと想定する。つまり、画像60aに対応する仮想空間50にはアバタ56aが配置されていない。 7a to 7f show display examples of moving images generated by the moving image generation unit 21d and distributed by the moving image distribution unit 21e. FIGS. 7a to 7f show images (frames) of frames that constitute a moving image distributed by the moving image distribution unit 21e and reproduced by the client devices 10a to 10c. Hereinafter, it is assumed that the images in FIGS. 7a to 7f are displayed on the client device 10a used by the first viewing user. The display screen of FIG. 7a is displayed on the display of the client device 10a by executing the viewing application on the client device 10a and playing the moving image distributed from the server device 20. FIG. 7a shows a display example of an image 60a drawn as a drawing area defined by the virtual camera 53a as a viewpoint. However, it is assumed that the avatar 56a of the first viewing user is not placed in the virtual space 50 at the time of drawing the image 60a. That is, the avatar 56a is not arranged in the virtual space 50 corresponding to the image 60a.
 図示のように、画像60aは、キャラクタオブジェクト51と、キャラクタオブジェクト51が立つフロアオブジェクト54aと、ステージの後端を画定するスクリーンオブジェクト54bと、を含んでいる。また、画像60aは、視聴ユーザからのコメントやシステム通知が表示される表示欄65を含む。 As illustrated, the image 60a includes a character object 51, a floor object 54a on which the character object 51 stands, and a screen object 54b that defines the rear end of the stage. The image 60a also includes a display field 65 in which a comment from the viewing user and a system notification are displayed.
 キャラクタオブジェクト51は、アクターA1のボディモーションデータ及びフェイスモーションデータをモデルデータ23aに含まれているアクターA1用のモデルデータに適用することにより生成される。キャラクタオブジェクト51は、ボディモーションデータ及びフェイスモーションデータに基づいてモーション制御される。したがって、キャラクタオブジェクト51は、アクターA1の体及び表情の動きに同期して画面内で動くように制御される。 The character object 51 is generated by applying the body motion data and face motion data of the actor A1 to the model data for the actor A1 included in the model data 23a. The motion of the character object 51 is controlled based on the body motion data and the face motion data. Therefore, the character object 51 is controlled so as to move on the screen in synchronization with the movement of the body and facial expression of the actor A1.
 画像60aには、仮想空間50内に配置された各オブジェクトに加え、ユーザの操作を受け付けるための操作ボタンが表示されてもよい。図6に示されている例では、画像60aに、ギフティングを行うためのギフトボタン61と、評価を提供するための評価ボタン62と、アバタを参加させるためのアバタ参加ボタン63と、が含まれている。画像60aには、これら以外の操作ボタンが表示されてもよい。 In the image 60a, in addition to each object arranged in the virtual space 50, an operation button for accepting a user operation may be displayed. In the example shown in FIG. 6, the image 60a includes a gift button 61 for performing gifting, an evaluation button 62 for providing an evaluation, and an avatar participation button 63 for allowing an avatar to participate. Has been. Operation buttons other than these may be displayed on the image 60a.
 ギフトボタン61は、画像60aが表示されているクライアント装置10aへの操作によって選択可能に画像60aに表示されている。ギフトボタン61は、例えば、クライアント装置10aのタッチパネルのうちギフトボタン61が表示されている領域へのタップ操作により選択され得る。一実施形態において、ギフトボタン61が選択されると、表示画面60aに、視聴中の動画を配信している配信者に贈る(ギフティングする)ギフトを選択するためのウィンドウが表示される。クライアント装置10aのユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを購入・選択することができる。他の実施形態においては、ギフトボタン61が選択されたことに応じて、画像60aに、購入済みのギフトの一覧及び/又は選択可能なギフトの一覧を含むウィンドウが表示される。この場合、動画を視聴しているユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを選択することができる。一実施形態においては、クライアント装置10におけるギフトボタン61の選択に応じて、ギフティング要求がサーバ装置60に送信されてもよい。このギフティング要求には、ギフティングするギフトに対応するギフトオブジェクトを特定するギフト識別情報(ギフトID)が含まれてもよい。このように、動画を視聴している視聴ユーザは、ギフトボタン61の選択により、当該動画を配信している配信ユーザに対して所望のギフトを贈ることができる。 The gift button 61 is displayed on the image 60a in a selectable manner by operating the client device 10a on which the image 60a is displayed. The gift button 61 can be selected by, for example, a tap operation on the area where the gift button 61 is displayed on the touch panel of the client device 10a. In one embodiment, when the gift button 61 is selected, the display screen 60a displays a window for selecting a gift to give (gift) to the distributor who distributes the moving image being viewed. The user of the client device 10a can purchase and select a gift to be gifted from the gifts displayed in the window. In another embodiment, the image 60a displays a window containing a list of purchased gifts and/or a list of selectable gifts in response to the selection of the gift button 61. In this case, the user who is watching the video can select the gift to be gifted from the gifts displayed in the window. In one embodiment, a gifting request may be sent to the server device 60 in response to selection of the gift button 61 on the client device 10. This gifting request may include gift identification information (gift ID) that specifies a gift object corresponding to the gift to be gifted. In this way, the viewing user who is watching the video can give a desired gift to the distribution user who is distributing the video by selecting the gift button 61.
 ギフト処理部21fは、ユーザのクライアント装置10aからギフティング要求を受け付け、当該要求に応じた処理を行う。上記のとおり、動画を視聴しているユーザは、自らのクライアント装置を操作することにより、ギフティング要求をサーバ装置20に送信することができる。 The gift processing unit 21f receives a gifting request from the user's client device 10a, and performs processing according to the request. As described above, the user who is watching the moving image can transmit the gifting request to the server device 20 by operating his/her own client device.
 一態様において、ギフト処理部21fは、ギフティング要求を受け付けると、当該ギフティング要求に基づいて、ギフト対象のギフトオブジェクトを特定し、特定されたギフトオブジェクトに応じた表示処理を行う。上述のように、ギフトオブジェクトには、エフェクトオブジェクトと、通常オブジェクトと、装飾オブジェクトと、が含まれ得る。ギフティング要求によって特定されるギフトオブジェクトがエフェクトオブジェクトの場合には、ギフト処理部21fは、当該エフェクトオブジェクトを動画の画像60aに表示させるための処理を行う。例えば、紙吹雪に対応するエフェクトオブジェクトについてギフティング要求がなされた場合には、ギフト処理部21fは、当該ギフティング要求に基づいて紙吹雪を示すエフェクトオブジェクトを画像60aに表示させる。一態様において、ギフト処理部21fは、特定の通常オブジェクトについてのギフティング要求を受け付けると、当該ギフティング要求によって特定される通常オブジェクトを動画に表示させるための処理を行う。例えば、熊のぬいぐるみを示す通常オブジェクトについてギフティング要求がなされた場合には、ギフト処理部21fは、当該熊のぬいぐるみを示す通常オブジェクトを画像60aに表示させる。 In one aspect, when the gift processing unit 21f receives a gifting request, the gift processing unit 21f identifies a gift object as a gift based on the gifting request, and performs display processing according to the identified gift object. As described above, the gift object may include an effect object, a normal object, and a decoration object. When the gift object specified by the gifting request is an effect object, the gift processing unit 21f performs processing for displaying the effect object on the moving image 60a. For example, when a gifting request is made for an effect object corresponding to confetti, the gift processing unit 21f causes the image 60a to display an effect object indicating confetti based on the gifting request. In one aspect, when the gift processing unit 21f receives a gifting request for a specific normal object, the gift processing unit 21f performs a process for displaying the normal object specified by the gifting request in a moving image. For example, when a gifting request is made for a normal object indicating a teddy bear, the gift processing unit 21f causes the image 60a to display the normal object indicating the teddy bear.
 一態様において、ギフト処理部21fは、視聴ユーザから特定の装飾オブジェクトについてのギフティング要求を受け付けると、当該ギフティング要求によって特定される装飾オブジェクトを候補リストに追加する。この候補リストは、例えば、サポーターコンピュータ40のディスプレイに表示される。サポーターB1及びサポーターB2は、サポータコンピュータ40のディスプレイに表示された候補リストの中から、動画に表示する装飾オブジェクトを選択することができる。ギフト処理部21fは、選択された装飾オブジェクトを動画の表示画面60aに表示させる。選択された装飾オブジェクトは、キャラクタオブジェクト51の特定の部位と関連付けて画像60aに表示される。例えば、装飾オブジェクトがカチューシャを示すオブジェクトである場合、当該装飾オブジェクトは、キャラクタオブジェクト51の頭部に装着されてもよい。装飾オブジェクトは、キャラクタオブジェクトの当該特定部位の動きに付随して動くように、表示画面60aに表示されてもよい。例えば、カチューシャを装着したキャラクタオブジェクト51の頭部が動くと、あたかもカチューシャがキャラクタオブジェクト51の頭部に装着されているかのごとく、カチューシャを示す選択装飾オブジェクトもキャラクタオブジェクト51の頭部に付随して動く。 In one aspect, when the gift processing unit 21f receives a gifting request for a specific decoration object from the viewing user, the gift processing unit 21f adds the decoration object specified by the gifting request to the candidate list. This candidate list is displayed on the display of the supporter computer 40, for example. The supporter B1 and the supporter B2 can select a decorative object to be displayed in the moving image from the candidate list displayed on the display of the supporter computer 40. The gift processing unit 21f displays the selected decoration object on the moving image display screen 60a. The selected decoration object is displayed in the image 60a in association with the specific part of the character object 51. For example, when the decoration object is an object indicating a headband, the decoration object may be attached to the head of the character object 51. The decoration object may be displayed on the display screen 60a so as to move along with the movement of the specific part of the character object. For example, when the head of the character object 51 wearing the headband moves, the selected decoration object indicating the headband is also attached to the head of the character object 51 as if the headband is mounted on the head of the character object 51. Move.
 評価ボタン62は、クライアント装置10aを使用するユーザによって選択可能に表示画面60aに表示されている。評価ボタン62は、例えば、クライアント装置10aのタッチパネルのうち評価ボタン62が表示されている領域へのタップ操作により選択され得る。動画を視聴中のユーザによって評価ボタン62が選択されると、当該動画を配信する配信ユーザ(例えば、アクターA1)への肯定的な評価又は配信されている動画への肯定的な評価がなされたことを示す評価更新情報がサーバ装置60に送信されてもよい。評価ボタン62の選択により、当該動画への否定的な評価がなされたことを示す評価情報がサーバ装置60に送信されてもよい。 The evaluation button 62 is displayed on the display screen 60a so that it can be selected by the user who uses the client device 10a. The evaluation button 62 can be selected, for example, by a tap operation on the area where the evaluation button 62 is displayed on the touch panel of the client device 10a. When the rating button 62 is selected by the user who is watching the video, a positive evaluation is given to the distribution user (for example, the actor A1) who distributes the video or a positive evaluation is made to the distributed video. The evaluation update information indicating that may be transmitted to the server device 60. By selecting the evaluation button 62, evaluation information indicating that a negative evaluation is made on the moving image may be transmitted to the server device 60.
 アバタ参加ボタン63は、クライアント装置10aを使用する第1視聴ユーザによって選択可能に表示画面60aに表示されている。アバタ参加ボタン63は、例えば、クライアント装置10aのタッチパネルのうちアバタ参加ボタン63が表示されている領域へのタップ操作により選択され得る。動画を視聴中の第1視聴ユーザによってアバタ参加ボタン63が選択されると、当該第1視聴ユーザのアバタを当該動画に参加させることを要求する参加要求がサーバ装置20に送信される。アバタ参加ボタン63の選択により参加要求を送信したユーザを「参加申請ユーザ」と呼ぶことがある。参加申請ユーザからの参加要求には、当該参加申請ユーザのユーザIDと、当該参加申請ユーザのアバタのアバタIDと、が含まれてもよい。自らのアバタを登録していない第1視聴ユーザによってアバタ参加ボタン63が選択された場合には、クライアント装置10aにアバタの登録を促す画面が表示されてもよい。この場合、第1視聴ユーザは、当該画面のガイダンスに従ってアバタを登録することができる。 The avatar participation button 63 is displayed on the display screen 60a so that it can be selected by the first viewing user who uses the client device 10a. The avatar participation button 63 can be selected, for example, by a tap operation on the area where the avatar participation button 63 is displayed on the touch panel of the client device 10a. When the avatar participation button 63 is selected by the first viewing user who is viewing the video, a participation request requesting that the avatar of the first viewing user participate in the video is transmitted to the server device 20. The user who has transmitted the participation request by selecting the avatar participation button 63 may be referred to as a “participation application user”. The participation request from the participation application user may include the user ID of the participation application user and the avatar ID of the avatar of the participation application user. When the avatar participation button 63 is selected by the first viewing user who has not registered his own avatar, a screen prompting the avatar registration may be displayed on the client device 10a. In this case, the first viewing user can register the avatar according to the guidance on the screen.
 参加要求処理部21gは、参加申請ユーザからの参加要求を受け付け、当該参加要求に基づいて、当該参加申請ユーザのアバタの表示可否について判定を行う。一実施形態において、参加要求処理部21gは、参加申請ユーザが第1グループと第2グループのいずれに属するかを判定することができる。参加要求処理部21gは、例えば、ユーザデータ23cのグループ情報を参照することにより、参加申請ユーザが第1グループと第2グループのいずれに属するかを判定することができる。ユーザ情報においてグループIDではなく第1グループに属するユーザのユーザIDにフラグを設定することでユーザが所属するグループを区別している場合が一例として想定される。この場合、参加申請ユーザについて当該フラグが設定されていると、当該参加申請ユーザが第1グループに属していると判定されることができる。一方、当該フラグが設定されていないと、当該参加申請ユーザが第2グループに属していると判定される(又は第1グループに属していないと判定される)ことができる。 The participation request processing unit 21g accepts a participation request from the participation application user, and based on the participation request, determines whether or not the avatar of the participation application user can be displayed. In one embodiment, the participation request processing unit 21g can determine whether the participation application user belongs to the first group or the second group. The participation request processing unit 21g can determine whether the participation application user belongs to the first group or the second group by referring to the group information of the user data 23c, for example. As an example, it is assumed that a flag is set in the user information, not the group ID, of the user belonging to the first group to distinguish the groups to which the user belongs. In this case, when the flag is set for the participation application user, it can be determined that the participation application user belongs to the first group. On the other hand, if the flag is not set, it can be determined that the participation application user belongs to the second group (or it is determined not to belong to the first group).
 参加申請ユーザが第1グループに属すると判定された場合、参加要求処理部21gは、当該参加申請ユーザのアバタを仮想空間50の第1領域52aに配置する。例えば、第1視聴ユーザがクライアント装置10aを介して参加要求を送信し、当該第1視聴ユーザが第1グループに属すると判定された場合、図6に示すように、当該第1視聴ユーザに対応するアバタ56aは第1領域52aに配置される。第1視聴ユーザが第1グループに属すると判定された場合には、それ以上の追加的な条件を要求することなく、当該第1視聴ユーザのアバタ56aを第1領域52aに表示してもよい。第1視聴ユーザのアバタ56aの参加が認められた後、第1領域52aに配置される前又は第1領域52aに配置された後に、アバタ56aの参加に関連した演出効果を表示してもよい。例えば、アバタ56aを強調するように、アバタ56aにスポットライトが当たっているような演出を行うことができる。アバタの参加に関連する演出は、本明細書で明示的に説明される態様に限定されない。 When it is determined that the participation application user belongs to the first group, the participation request processing unit 21g places the avatar of the participation application user in the first area 52a of the virtual space 50. For example, when the first viewing user transmits a participation request via the client device 10a and it is determined that the first viewing user belongs to the first group, as shown in FIG. 6, the first viewing user corresponds to the first viewing user. The avatar 56a is disposed in the first area 52a. When it is determined that the first viewing user belongs to the first group, the avatar 56a of the first viewing user may be displayed in the first area 52a without requesting any additional condition. .. After the participation of the avatar 56a by the first viewing user is admitted, before the placement in the first area 52a or after the placement in the first area 52a, the effect effect related to the participation of the avatar 56a may be displayed. .. For example, it is possible to perform an effect in which the avatar 56a is illuminated by a spotlight so as to emphasize the avatar 56a. Performances associated with the participation of avatars are not limited to the aspects explicitly described herein.
 参加申請ユーザが第2グループに属すると判定された場合には、参加要求処理部21gは、当該参加申請ユーザが参加条件を充足しているか否かを判定し、参加条件を充足していると判定された場合に当該参加申請ユーザのアバタを第2領域52bに配置する。例えば、第1視聴ユーザがクライアント装置10aを介して参加要求を送信し、当該第1視聴ユーザが第2グループに属すると判定された場合には、図6に示されている態様とは異なり、アバタ56aは第2領域52bに配置される。アバタ56aが第2領域52bに配置される際にも、上述した演出効果を動画内に表示することができる。 When it is determined that the participation application user belongs to the second group, the participation request processing unit 21g determines whether or not the participation application user satisfies the participation condition and determines that the participation condition is satisfied. When it is determined, the avatar of the participation application user is placed in the second area 52b. For example, when the first viewing user transmits a participation request via the client device 10a and it is determined that the first viewing user belongs to the second group, unlike the aspect shown in FIG. 6, The avatar 56a is arranged in the second region 52b. Even when the avatar 56a is arranged in the second area 52b, the effect described above can be displayed in the moving image.
 参加要求に基づいてアバタの動画への参加が認められた場合、当該アバタの他の動画への参加を禁止してもよい。例えば、参加要求に基づいてアバタの動画への参加が認められた場合、アバタデータ23dとして当該アバタが動画へ参加していることを示すフラグを設定し、当該フラグに基づいて当該アバタを使用するユーザからの他の動画への参加要求を認めるか否かが判断されてもよい。具体的には、ある動画へ参加しているアバタを使用するユーザから他の動画への参加要求がなされたときに、アバタデータ23dを参照し、当該アバタについて動画へ参加していることを示すフラグが設定されている場合に、当該参加要求は拒否されてもよい。単一のアバタによる二つ以上の動画への参加を禁止する処理は、参加要求処理部21gによって行われてもよい。 If participation of an avatar in a video is permitted based on the participation request, participation of the avatar in another video may be prohibited. For example, when the participation of the avatar in the video is permitted based on the participation request, a flag indicating that the avatar is participating in the video is set as the avatar data 23d, and the avatar is used based on the flag. It may be determined whether the user's request for participation in another video is accepted. Specifically, when a user who uses an avatar participating in a certain video makes a request to participate in another video, it refers to the avatar data 23d and indicates that the avatar is participating in the video. If the flag is set, the participation request may be rejected. The process of prohibiting participation of two or more moving images by a single avatar may be performed by the participation request processing unit 21g.
 上記のように、参加申請ユーザが第2グループに属する場合には、参加条件が充足されているか否かが判定される。続いて、この参加条件について説明する。一実施形態における参加条件は、第2領域52bに配置されているアバタの数が第2領域52bついて設定されている第2上限数よりも少ないことである。一例として、図6の第2領域52bに設定されている第2上限数が「7」であると想定する。この例において、第2グループに属する参加申請ユーザからの参加要求を受け付けた場合、第2領域52bには既に上限数に相当する7つのアバタ57a~57gが配置されているので、参加条件は充足されていないと判定される。この場合、参加申請ユーザからの参加要求は許可されず、当該参加申請ユーザのアバタは仮想空間50内に配置されない。他の例として、図6の第2領域52bに設定されている第2上限数が「12」であると想定する。この例において、第2グループに属する参加申請ユーザからの参加要求を受け付けた場合、第2領域52bには上限数より少ない7つのアバタが配置されているので、参加条件は充足されていると判定される。この場合、当該参加申請ユーザのアバタが第2表示領域52bに配置される。 As described above, when the user applying for participation belongs to the second group, it is determined whether or not the participation condition is satisfied. Next, the participation conditions will be described. The participation condition in one embodiment is that the number of avatars arranged in the second area 52b is less than the second upper limit number set for the second area 52b. As an example, it is assumed that the second upper limit number set in the second area 52b of FIG. 6 is “7”. In this example, when the participation request from the participation application user belonging to the second group is accepted, the participation condition is satisfied because the seven avatars 57a to 57g corresponding to the upper limit number are already arranged in the second area 52b. It is determined that it has not been done. In this case, the participation request from the participation application user is not permitted, and the avatar of the participation application user is not placed in the virtual space 50. As another example, it is assumed that the second upper limit number set in the second area 52b of FIG. 6 is “12”. In this example, when the participation request from the participation application user belonging to the second group is received, it is determined that the participation condition is satisfied because seven avatars, which are less than the upper limit number, are arranged in the second area 52b. To be done. In this case, the avatar of the participation application user is arranged in the second display area 52b.
 第1領域52a又は第2領域52bに配置されているアバタは、当該アバタを使用するユーザの操作に応じて、参加中の動画から退出することができる。例えば、第1視聴ユーザのアバタ56aが動画の第1領域52a又は第2領域52bに配置されている場合に、当該第1視聴ユーザは、クライアント装置10aを操作することによりアバタ56aを退出させるための退出要求をサーバ装置20に送信することができる。サーバ装置20において退出要求が受け付けられると、サーバ装置20(例えば、参加要求処理部21g)は、当該退出要求に応じて、第1視聴ユーザのアバタ56aを当該動画から退出させるための処理を行うことができる。第1領域52a又は第2領域52bに参加可能なアバタの上限数が設定されている場合には、退出要求に応じて当該退出要求を行ったユーザのアバタが退出したことによって、当該第1領域52a又は第2領域52bに他のユーザのアバタが参加できるようになる。アバタが動画から退出する際に、当該アバタの退出に関連した演出効果が動画において表示されてもよい。例えば、退出するアバタにスポットライトが当たっているような演出を行うことができる。アバタの参加に関連する演出は、本明細書で明示的に説明される態様に限定されない。 The avatar arranged in the first area 52a or the second area 52b can exit from the participating video according to the operation of the user who uses the avatar. For example, when the avatar 56a of the first viewing user is arranged in the first area 52a or the second area 52b of the moving image, the first viewing user operates the client device 10a to leave the avatar 56a. Can be transmitted to the server device 20. When the server device 20 receives the exit request, the server device 20 (for example, the participation request processing unit 21g) performs a process for exiting the avatar 56a of the first viewing user from the moving image in response to the exit request. be able to. When the upper limit number of avatars that can participate in the first area 52a or the second area 52b is set, the avatar of the user who has issued the exit request in response to the exit request leaves the first area. The avatars of other users can participate in 52a or the second area 52b. When the avatar leaves the video, the effect related to the leaving of the avatar may be displayed in the video. For example, it is possible to perform an effect such that an exiting avatar is hit by a spotlight. Performances associated with the participation of avatars are not limited to the aspects explicitly described herein.
 一実施形態においては、動画からアバタを退出させる処理は、当該アバタを使用するユーザが、当該動画を視聴するために使用している視聴アプリを終了させたことに応じて行われてもよい。 In one embodiment, the process of leaving the avatar from the video may be performed in response to the user who uses the avatar having terminated the viewing application used to view the video.
 別の実施形態においては、動画にアバタを参加させているユーザが当該動画を視聴するために使用している視聴アプリを終了させた場合であっても、当該アバタを引き続き当該動画中に表示し続けてもよい。 In another embodiment, the avatar continues to be displayed in the video even if the user who has the avatar participating in the video terminates the viewing application used to view the video. You may continue.
 別の実施形態における参加条件は、参加申請ユーザが配信ユーザによって選択されたことである。配信ユーザは、例えば、アクターA1、サポーターB1、及びサポーターB2である。参加要求処理部21gは、参加申請ユーザからの参加要求を受け付けると、当該参加申請ユーザを特定する表示を含む参加要求ユーザリストを生成し、当該参加要求ユーザリストを配信ユーザに提示してもよい。ある動画についての参加要求ユーザリストは、当該動画に対して参加要求を行った参加申請ユーザのリストである。参加要求処理部21gは、参加要求ユーザリストをサポータコンピュータ40に送信することができる。サポーターB1及びサポーターB2は、サポーターコンピュータ40のディスプレイに表示された参加要求ユーザリストから参加を認めるユーザを選択することができる。参加要求ユーザリストは、スタジオルームRのディスプレイ39に表示されてもよい。アクターA1は、コントローラ33aまたはコントローラ33bを操作することにより、参加要求ユーザリストから、動画への参加を認めるユーザを選択してもよい。参加要求処理部21gは、動画の配信ユーザによって選択された(つまり、当該動画への参加が許可された)参加申請ユーザのアバタを第2表示領域52bに配置することができる。 The participation condition in another embodiment is that the participation application user is selected by the distribution user. The distribution users are, for example, the actor A1, the supporter B1, and the supporter B2. Upon accepting the participation request from the participation application user, the participation request processing unit 21g may generate a participation request user list including a display that identifies the participation application user, and present the participation request user list to the distribution user. .. The participation request user list for a certain video is a list of participation application users who have made a participation request for the video. The participation request processing unit 21g can transmit the participation request user list to the supporter computer 40. The supporter B1 and the supporter B2 can select a user who is allowed to participate from the participation requesting user list displayed on the display of the supporter computer 40. The participation requesting user list may be displayed on the display 39 of the studio room R. The actor A1 may select a user who is allowed to participate in the moving image from the participation request user list by operating the controller 33a or the controller 33b. The participation request processing unit 21g can arrange the avatar of the participation application user selected by the distribution user of the moving image (that is, allowed to participate in the moving image) in the second display area 52b.
 アバタ表示部21hは、参加要求処理部21gによって第1領域52a及び第2領域52bに配置することが決定されたアバタを画像内に表示するための処理を行う。例えば、第1視聴ユーザのアバタを第1領域52aに表示する場合には、ユーザデータ23cを参照して当該第1視聴ユーザのユーザIDに関連付けられているアバタIDを特定し、次に、アバタデータ23dを参照して当該アバタIDに関連付けられているパーツ情報を特定する。アバタ表示部21hは、特定されたパーツ情報に基づいて第1視聴ユーザのアバタを表すアバタオブジェクトを構築し、当該アバタオブジェクトを第1領域52aに配置する。これにより、第1領域52aが仮想カメラの描画領域に含まれている場合に、当該第1視聴ユーザのアバタを表すアバタオブジェクトが動画内に表示される。アバタが3D表示される場合には、3D表示用のパーツ情報に基づいてアバタオブジェクトが構築され、アバタが2D表示される場合には、2D表示用のパーツ情報に基づいてアバタオブジェクトが構築される。 The avatar display unit 21h performs a process for displaying in the image the avatars determined to be arranged in the first area 52a and the second area 52b by the participation request processing unit 21g. For example, when displaying the avatar of the first viewing user in the first area 52a, the avatar ID associated with the user ID of the first viewing user is specified by referring to the user data 23c, and then the avatar The part information associated with the avatar ID is identified by referring to the data 23d. The avatar display unit 21h constructs an avatar object representing the avatar of the first viewing user based on the specified parts information, and arranges the avatar object in the first area 52a. As a result, when the first area 52a is included in the drawing area of the virtual camera, the avatar object representing the avatar of the first viewing user is displayed in the moving image. When the avatar is displayed in 3D, the avatar object is constructed based on the 3D display part information, and when the avatar is displayed in 2D, the avatar object is constructed based on the 2D display part information. ..
 次に、図7b~図7dを参照して、第1視聴ユーザによってアバタ参加ボタン63が選択されたことにより当該第1視聴ユーザのアバタ56aが仮想空間50の第1領域52aに配置されている画像について説明する。図7bは、図7aに示されている画像60aと同様に仮想カメラ53aを視点として描画された画像60bの例を示す。このため、画像60bにおけるキャラクタオブジェクト51やその他のオブジェクトの配置は、画像60aに表示されている対応するオブジェクトの配置とほぼ同じである。仮想カメラ53aは、第1領域52aとキャラクタオブジェクト51との間に配置されているため、画像60bにおいては、第1領域52a又は第2領域52bに配置されている第1視聴ユーザのアバタは、仮想カメラ53aを視点とする描画領域には含まれない。 Next, referring to FIGS. 7B to 7D, the avatar 56a of the first viewing user is placed in the first area 52a of the virtual space 50 by the selection of the avatar participation button 63 by the first viewing user. The image will be described. FIG. 7b shows an example of the image 60b drawn with the virtual camera 53a as the viewpoint, similar to the image 60a shown in FIG. 7a. Therefore, the arrangement of the character object 51 and other objects in the image 60b is almost the same as the arrangement of the corresponding objects displayed in the image 60a. Since the virtual camera 53a is arranged between the first area 52a and the character object 51, in the image 60b, the avatar of the first viewing user arranged in the first area 52a or the second area 52b is It is not included in the drawing area with the virtual camera 53a as the viewpoint.
 第1視聴ユーザのアバタ56aが仮想空間50内の第1領域52aに配置されている動画の別の表示例を図7cに示す。図7cに示されている画像60cは、図7bとは異なり、仮想カメラ53cを視点として描画されている。仮想カメラ53cは、キャラクタオブジェクト51の右後ろからキャラクタオブジェクト51に向かって配置されている。このため、仮想カメラ53cを視点として描画された画像60cには、右後方から見たキャラクタオブジェクト51と、第1領域52aに配置されたアバタ56a~56cと、が含まれている。仮想カメラ53c、第1領域52a、及び第2領域52bの位置関係から、画像60cには、第2領域52bに配置されたアバタの一部もアバタ56a~56cの陰に隠れるようにして表示されている。アバタ56a~56c及びアバタ57a~57gは、2D(二次元)表示されてもよい。この場合、2D表示されるアバタ56a~56c及びアバタ57a~57gが、3D表示されている他のオブジェクトとともに仮想空間50内に表示される。アバタ56a~56c及びアバタ57a~57gを2D表示することにより、描画処理の負荷を軽減することができる。より後列のアバタ57a~57gのみ2D(二次元)表示されてもよい。描画処理の負荷が低減される結果、より多くのアバタを画面に表示することができる。一実施形態において、仮想空間50内に配置するアバタの3D表示情報が動画生成部21dによって動画の配信開始前にロードされている場合に、当該アバタについては当該動画中で3D表示を行うことができる。アバタ表示部21hは、参加要求に基づいて仮想空間50内に配置するアバタに関し、当該アバタの3D表示情報がロード済か否かを確認することができる。アバタ表示部21hは、参加要求に基づいて仮想空間50内に配置するアバタに関し、当該アバタの3D表示情報がロード済の場合には当該アバタを動画に3D表示情報が動画表示し、当該アバタの3D表示情報が未ロードの場合には当該アバタを当該動画に2D表示してもよい。一実施形態において、アバタ表示部21hは、参加要求に基づいて仮想空間50内に配置するアバタの3D表示情報をランタイムロードし、ラインタイムロードされた3D表示情報を用いて当該アバタを当該動画に3D表示してもよい。すなわち、サーバ装置20は、動画の配信中に(動画の配信処理と並行して)、当該動画に表示するアバタの3D表示情報をロードしてもよい。 Another display example of the moving image in which the avatar 56a of the first viewing user is arranged in the first area 52a in the virtual space 50 is shown in FIG. 7c. The image 60c shown in FIG. 7c is drawn with the virtual camera 53c as the viewpoint, unlike FIG. 7b. The virtual camera 53c is arranged from the right rear of the character object 51 toward the character object 51. Therefore, the image 60c drawn with the virtual camera 53c as the viewpoint includes the character object 51 viewed from the right rear and the avatars 56a to 56c arranged in the first area 52a. Due to the positional relationship between the virtual camera 53c, the first area 52a, and the second area 52b, a part of the avatars arranged in the second area 52b is displayed in the image 60c so as to be hidden behind the avatars 56a to 56c. ing. The avatars 56a to 56c and the avatars 57a to 57g may be displayed in 2D (two-dimensional). In this case, the avatars 56a to 56c and the avatars 57a to 57g displayed in 2D are displayed in the virtual space 50 together with other objects displayed in 3D. By displaying the avatars 56a to 56c and the avatars 57a to 57g in 2D, the load of drawing processing can be reduced. Only the avatars 57a to 57g in the rear row may be displayed in 2D (two-dimensional). As a result of reducing the load of drawing processing, more avatars can be displayed on the screen. In one embodiment, when the 3D display information of the avatar placed in the virtual space 50 is loaded by the moving image generation unit 21d before the distribution of the moving image is started, the 3D display of the avatar may be performed in the moving image. it can. The avatar display unit 21h can confirm whether or not the 3D display information of the avatar placed in the virtual space 50 has been loaded based on the participation request. The avatar display unit 21h, regarding the avatar to be arranged in the virtual space 50 based on the participation request, displays 3D display information as a moving image of the avatar when the 3D display information of the avatar is already loaded, and displays the moving image of the avatar. When the 3D display information is not loaded, the avatar may be displayed in 2D on the moving image. In one embodiment, the avatar display unit 21h runtime-loads the 3D display information of the avatar to be arranged in the virtual space 50 based on the participation request, and uses the 3D display information line-time loaded to display the avatar in the moving image. It may be displayed in 3D. That is, the server device 20 may load the 3D display information of the avatar displayed in the moving image during the distribution of the moving image (in parallel with the moving image distribution process).
 動画内にアバタが表示されている間に、当該アバタのユーザが当該アバタのパーツを別のものに変更することがある。アバタ表示部21hは、動画に表示されているアバタのパーツが変更されたときに、その変更を反映するように当該動画における当該アバタの外観を変化させることができる。例えば、あるユーザが自らのアバタのへアスタイルを黒髪から金髪に変更した場合には、アバタ表示部21hは、その変更が動画内に表示されているアバタの画像に反映されるように、当該アバタの外観を変更することができる。アバタ表示部21hは、パーツの変更以外にも動画配信中におけるアバタに対する変更を当該動画における当該アバタにリアルタイムで又は準リアルタイムで反映させることができる。  While the avatar is displayed in the video, the user of the avatar may change the part of the avatar to another one. When the parts of the avatar displayed in the moving image are changed, the avatar display unit 21h can change the appearance of the avatar in the moving image so as to reflect the change. For example, when a certain user changes the hair style of his avatar from black hair to blonde hair, the avatar display unit 21h causes the avatar display unit 21h to reflect the change in the image of the avatar displayed in the moving image. You can change the appearance of the avatar. The avatar display unit 21h can reflect a change to the avatar during the moving image distribution in real time or near real time to the avatar in the moving image in addition to the change of the parts.
 第1視聴ユーザのアバタ56aが仮想空間50内の第1領域52aに配置されている動画のさらに別の表示例を図7dに示す。図7dに示されている画像60dは、仮想カメラ53bを視点として描画されている。仮想カメラ53bは、キャラクタオブジェクト51の正面において仮想カメラ53aよりもキャラクタオブジェクト51から離れた位置において、キャラクタオブジェクト51の方向を向くように配置されている。このため、仮想カメラ53bを視点として描画された画像60dには、画像60a及び画像60bよりも仮想空間50のより広い範囲が含まれている。具体的には、画像60dには、第1領域52a及び第2領域52bが含まれている。このため、画像60dには、第1領域52aに配置されたアバタ56a~56c及び第2領域52bに配置されたアバタ57a~57gも表示されている。 FIG. 7d shows another display example of the moving image in which the avatar 56a of the first viewing user is arranged in the first area 52a in the virtual space 50. The image 60d shown in FIG. 7d is drawn with the virtual camera 53b as the viewpoint. The virtual camera 53b is arranged so as to face the character object 51 at a position farther from the character object 51 than the virtual camera 53a on the front of the character object 51. Therefore, the image 60d drawn with the virtual camera 53b as the viewpoint includes a wider range of the virtual space 50 than the images 60a and 60b. Specifically, the image 60d includes the first area 52a and the second area 52b. Therefore, in the image 60d, the avatars 56a to 56c arranged in the first region 52a and the avatars 57a to 57g arranged in the second region 52b are also displayed.
 クライアント装置10において表示される画像には、エモーションボタン68が表示されてもよい。エモーションボタン68は、視聴ユーザが動画視聴時の感情を表現するためのボタンである。視聴ユーザは、このエモーションボタン68を選択することにより、当該動画に感動したこと、当該動画に共感できなかったこと、及びこれら以外の視聴ユーザの感情を選択することができる。エモーションボタン68には、動画に感動したという感情を選択するための拍手ボタン、動画に共感できなかったことを示すための疑問符ボタン、動画に驚いたことを示すための驚きボタン、及びこれら以外のボタンを含むことができる。エモーションボタン68の各々には、当該エモーションボタン68によって選択される感情を表現する記号又はグラフィックスの表示が含まれていてもよい。例えば、拍手ボタンには拍手している手を表すグラフィックスの表示が含まれていてもよく、疑問符ボタンにはクエスチョンマークの表示が含まれていてもよく、驚きボタンにはエクスクラメーションマークの表示が含まれていてもよい。エモーションボタン68は、例えば、クライアント装置10aのタッチパネルのうちエモーションボタン68が表示されている領域へのタップ操作により選択され得る。動画を視聴中の第1視聴ユーザによってエモーションボタン68が選択されると、エモーション表示要求がサーバ装置20に送信される。エモーション表示要求には、エモーションボタン68のうち第1視聴ユーザが選択したボタンの種類(拍手ボタン、疑問符ボタン、及び驚きボタンなど)を示すエモーション識別情報が含まれていてもよい。エモーションボタン68を選択することにより、エモーションボタン68に対応付けられた複数のボタン(拍手ボタン、驚きボタンなど)をポップアップ表示させてもよい。エモーションボタン68に対応付けられた複数のボタンがポップアップ表示される場合、ユーザは、ポップアップ表示された複数のボタンの中から自らの感情にマッチしたボタンを選択することができる。エモーションボタン68は、ユーザのアバタが動画に参加している場合に表示され、当該ユーザのアバタが動画に参加していない場合には表示されなくともよい。例えば、図示の実施形態においては、画像60aの表示時には第1視聴ユーザのアバタは動画に参加していないため、画像60aにはエモーションボタン68が表示されておらず、第1視聴ユーザのアバタが動画に参加している画像60b及びそれ以外の画像にはエモーションボタン68が表示されている。 The emotion button 68 may be displayed on the image displayed on the client device 10. The emotion button 68 is a button for the viewing user to express emotions when viewing a video. By selecting this emotion button 68, the viewing user can select that he/she was impressed by the moving image, could not sympathize with the moving image, and other feelings of the viewing user. The emotion button 68 includes a clap button for selecting the feeling that the video was touched, a question mark button for indicating that the video was not sympathetic, a surprise button for indicating that the video was surprised, and other Buttons can be included. Each of the emotion buttons 68 may include a display of symbols or graphics expressing the emotion selected by the emotion button 68. For example, an applause button may contain a graphic representation of a clap, a question mark button may contain a question mark display, and a surprise button may have an exclamation mark display. A display may be included. The emotion button 68 can be selected by, for example, a tap operation on a region where the emotion button 68 is displayed on the touch panel of the client device 10a. When the emotion button 68 is selected by the first viewing user who is watching the moving image, an emotion display request is transmitted to the server device 20. The emotion display request may include emotion identification information indicating the type of button (clause button, question mark button, surprise button, etc.) selected by the first viewing user among the emotion buttons 68. By selecting the emotion button 68, a plurality of buttons (applause button, surprise button, etc.) associated with the emotion button 68 may be pop-up displayed. When a plurality of buttons associated with the emotion button 68 are displayed in a pop-up, the user can select a button that matches his/her emotion from among the plurality of buttons displayed in a pop-up. The emotion button 68 is displayed when the user's avatar participates in the video, and may not be displayed when the user's avatar does not participate in the video. For example, in the illustrated embodiment, since the first viewing user avatar does not participate in the moving image when the image 60a is displayed, the emotion button 68 is not displayed in the image 60a, and the first viewing user avatar is displayed. The emotion button 68 is displayed on the image 60b participating in the moving image and the other images.
 アバタ制御部21iは、第1視聴ユーザからのエモーション表示要求を受け付け、当該エモーション表示要求に基づいて、第1視聴ユーザのアバタの行動を制御してもよい。例えば、第1視聴ユーザがエモーションボタンの一種である拍手ボタンを選択したことによりエモーション表示要求が送信された場合には、アバタ制御部21iは、当該エモーション表示要求に基づいて、第1視聴ユーザのアバタ56aに対して拍手を行う動作を行わせることができる。このエモーション表示要求に基づいてアバタ56に拍手を行わせる制御が行われるときに、図7c又は図7dに示されているように当該アバタ56aが描画領域に含まれている場合には、アバタ56aが拍手しているアニメーションが動画内で表現されてもよい。逆に、図7bに示されているようにアバタ56aが描画領域に含まれていない場合には、アバタ56aが拍手している音を動画において表現する一方で拍手するアニメーションは表示されなくともよい。一実施形態においては、エモーションボタンは、ユーザのアバタが動画内に表示されている場合にのみ、当該ユーザが視聴中の動画の表示画面に表示されてもよい。例えば、第1視聴ユーザのクライアント装置10aに図7bに示されている画像60bが表示されている場合には、当該第1視聴ユーザのアバタ56aは画像60b内に表示されていないため、この画像60bにはエモーションボタン68が含まれなくともよい。これとは逆に、第1視聴ユーザのクライアント装置10aに図7cに示されている画像60cが表示されている場合には、当該第1視聴ユーザのアバタ56aが画像60c内に表示されているため、この画像60cにエモーションボタン68が含まれてもよい。 The avatar control unit 21i may accept an emotion display request from the first viewing user and control the avatar's action of the first viewing user based on the emotion display request. For example, when the emotion display request is transmitted by the first viewing user selecting the clap button, which is a kind of the emotion button, the avatar control unit 21i determines that the first viewing user has the emotion display request. It is possible to cause the avatar 56a to perform an action of clapping. When the avatar 56 is controlled to perform applause based on the emotion display request, if the avatar 56a is included in the drawing area as shown in FIG. 7c or 7d, the avatar 56a The animation clapping by may be expressed in the moving image. On the contrary, when the avatar 56a is not included in the drawing area as shown in FIG. 7b, the sound clapping by the avatar 56a is expressed in the moving image, while the clapping animation may not be displayed. .. In one embodiment, the emotion button may be displayed on the display screen of the video that the user is watching only when the user's avatar is displayed in the video. For example, when the image 60b shown in FIG. 7b is displayed on the client device 10a of the first viewing user, the avatar 56a of the first viewing user is not displayed in the image 60b. The 60b may not include the emotion button 68. On the contrary, when the image 60c shown in FIG. 7c is displayed on the client device 10a of the first viewing user, the avatar 56a of the first viewing user is displayed in the image 60c. Therefore, the emotion button 68 may be included in the image 60c.
 このように、ユーザからのエモーション表示要求に基づいて、当該ユーザのアバタが動画内で拍手などの動きを行う。エモーション表示要求は、アバタの動作を指示する動作指示の一種である。他の実施形態においては、エモーションボタン以外に、アバタの動作を指示する動作指示ボタンが画像に含まれてもよい。動作指示ボタンは、アバタの動作を指示するためのボタンである。動作指示ボタンは、例えば、ジャンプするという動作、手を振るという動作、サイリウムを振るという動作、及びこれら以外の動作を指示するために用いられ得る。動作指示ボタンが選択されると、動作指示要求がサーバ装置20に送信される。サーバ装置20では、アバタに対して動作指示要求に基づいた動作を行わせることができる。 In this way, based on the emotion display request from the user, the avatar of the user makes a motion such as applause in the video. The emotion display request is a kind of operation instruction for instructing the operation of the avatar. In other embodiments, an operation instruction button for instructing the operation of the avatar may be included in the image in addition to the emotion button. The operation instruction button is a button for instructing the operation of the avatar. The operation instruction button can be used to instruct, for example, an operation of jumping, an operation of waving a hand, an operation of waving a psyllium, and an operation other than these. When the operation instruction button is selected, the operation instruction request is transmitted to the server device 20. The server device 20 can cause the avatar to perform an operation based on the operation instruction request.
 図7b~図7dに示されているように、画像60b~60dが表示されるときには、第1視聴ユーザのアバタ56aが仮想空間50に既に配置されているため、画像60bにはアバタ参加ボタン63が含まれておらず、その代わりに表示要求ボタン64が含まれている。表示要求ボタン64は、視聴ユーザのアバタをキャラクタオブジェクト51と共に表示することを要求するためのボタンである。表示要求ボタン64は、クライアント装置10aを使用する第1視聴ユーザによって選択可能に表示画面60bに表示されている。表示要求ボタン64は、例えば、クライアント装置10aのタッチパネルのうち表示要求ボタン64が表示されている領域へのタップ操作により選択され得る。動画を視聴中の第1視聴ユーザによって表示要求ボタン64が選択されると、当該第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に表示することを要求する表示要求がサーバ装置20に送信される。 As shown in FIGS. 7b to 7d, when the images 60b to 60d are displayed, the avatar participation button 63 is included in the image 60b because the avatar 56a of the first viewing user is already arranged in the virtual space 50. Is not included, but a display request button 64 is included instead. The display request button 64 is a button for requesting to display the avatar of the viewing user together with the character object 51. The display request button 64 is displayed on the display screen 60b so as to be selectable by the first viewing user who uses the client device 10a. The display request button 64 can be selected by, for example, a tap operation on an area of the touch panel of the client device 10a in which the display request button 64 is displayed. When the display request button 64 is selected by the first viewing user who is watching the moving image, a display request requesting that the avatar 56a of the first viewing user be displayed together with the character object 51 is transmitted to the server device 20.
 表示要求処理部21jは、第1視聴ユーザからの表示要求を受け付け、当該表示要求に基づいて、第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に動画中に表示させる。配信中の動画に含まれるキャラクタオブジェクト(例えば、キャラクタオブジェクト51)とともにアバタを表示させるための要求を「フィーチャー表示要求(feature request)」と呼び、フィーチャー表示要求に応じてキャラクタオブジェクト51とともにアバタを表示することを「フィーチャー表示」と呼ぶことがある。フィーチャー表示においては、図7eに示されているように、キャラクタオブジェクト51とフィーチャー表示要求を行ったユーザのアバタのみが表示され、他のアバタは表示されなくともよい。図7eに示されているように、ユーザがフィーチャー表示要求を行うと、画像60eにフィーチャー表示要求がなされたことを示す通知66が表示されてもよい。この通知66は、フィーチャー表示要求を行ったユーザのクライアント装置にて表示される画像においてのみ表示されてもよいし、当該ユーザのクライアント装置に表示されている画像に加えて他のユーザのクライアント装置にて表示されている画像にも表示されてもよい。第1視聴ユーザのアバタ56aとキャラクタオブジェクト51とが共に表示されている画像の例が図7fに示されている。図7fに示されている画像60fにおいては、キャラクタオブジェクト51の横に第1視聴ユーザのアバタ56aが表示されている。表示要求処理部21jは、第1視聴ユーザからの表示要求に基づいて、アバタ56aをフロアオブジェクト54aに表示してもよい。キャラクタオブジェクト51はフロアオブジェクト54aに配置されるから、アバタ56aをフロアオブジェクト54aに配置することにより、アバタ56aをキャラクタオブジェクト51と共に表示することができる。画像60fには、フィーチャー表示が実施されたことを告知するための通知67が表示されてもよい。 The display request processing unit 21j receives a display request from the first viewing user, and displays the avatar 56a of the first viewing user in the moving image together with the character object 51 based on the display request. A request for displaying an avatar together with a character object (for example, a character object 51) included in a video being delivered is called a "feature display request", and the avatar is displayed together with the character object 51 in response to the feature display request. Doing this is sometimes called “feature display”. In the feature display, as shown in FIG. 7e, only the character object 51 and the avatar of the user who has made the feature display request are displayed, and other avatars may not be displayed. As shown in FIG. 7e, when the user makes a feature display request, a notification 66 indicating that the feature display request has been made may be displayed in the image 60e. The notification 66 may be displayed only in the image displayed on the client device of the user who has made the feature display request, or in addition to the image displayed on the client device of the user, the notification device 66 of another user. It may also be displayed on the image displayed in. An example of an image in which the avatar 56a of the first viewing user and the character object 51 are displayed together is shown in FIG. 7f. In the image 60f shown in FIG. 7f, the avatar 56a of the first viewing user is displayed next to the character object 51. The display request processing unit 21j may display the avatar 56a on the floor object 54a based on the display request from the first viewing user. Since the character object 51 is placed on the floor object 54a, the avatar 56a can be displayed together with the character object 51 by placing the avatar 56a on the floor object 54a. A notification 67 for notifying that the feature display has been performed may be displayed on the image 60f.
 フィーチャー表示要求に基づいてアバタ56aがキャラクタオブジェクト51とともに表示される場合には、アバタ56aは3D表示されてもよい。既述のように、アバタ56aは、フィーチャー表示要求を行う前の画像(例えば、画像60cや画像60d)では2D表示されてもよい。フィーチャー表示要求を行う前に2D表示されていたアバタ56aの表示態様をフィーチャー表示において3D表示に変更してもよい。フィーチャー表示においてはアバタ56aが3D表示されるため、フィーチャー表示要求を受信した時点よりも前にアバタ56aについての3D表示情報がロードされている場合にのみ、第1視聴ユーザのクライアント装置10aに表示される画像60bにおいて表示要求ボタン64が表示されるようにしてもよい。 When the avatar 56a is displayed together with the character object 51 based on the feature display request, the avatar 56a may be displayed in 3D. As described above, the avatar 56a may be displayed in 2D in the image (for example, the image 60c or the image 60d) before the feature display request is made. The display mode of the avatar 56a that has been displayed in 2D before the feature display request may be changed to 3D display in the feature display. Since the avatar 56a is displayed in 3D in the feature display, the avatar 56a is displayed on the client device 10a of the first viewing user only when the 3D display information about the avatar 56a is loaded before the feature display request is received. The display request button 64 may be displayed in the displayed image 60b.
 一実施形態において、3D表示情報がロードされているアバタを使用するユーザ用の画像において表示要求ボタン64を表示させ、3D表示情報がロードされていないアバタを使用するユーザ用の画像においては表示要求ボタン64を表示しないことにより、3D表示情報のランタイムロードが発生しないようにしてサーバ装置20の処理負荷を軽減することができる。一実施形態においては、ランタイムロードに必要な処理負荷の発生を避けるために、ユーザからアバタのフィーチャー表示を受け付けた場合に、当該アバタの3D表示情報がロード済か否かを判定し、ロード済である場合にのみ当該アバタの3D表示を行うようにしてもよい。この場合、3D表示情報がロードされているアバタを使用するユーザ用の画像において表示要求ボタン64を表示させる一方で3D表示情報がロードされていないアバタを使用するユーザ用の画像においては表示要求ボタン64を表示しないことにより、無駄なフィーチャー表示要求の送信及び当該フィーチャー表示要求に基づく処理の発生を防ぐことができる。 In one embodiment, the display request button 64 is displayed in the image for the user who uses the avatar in which the 3D display information is loaded, and the display request button 64 is displayed in the image for the user who uses the avatar in which the 3D display information is not loaded. By not displaying the button 64, the processing load of the server device 20 can be reduced by preventing the runtime loading of the 3D display information from occurring. In one embodiment, in order to avoid a processing load required for runtime loading, when a feature display of an avatar is received from a user, it is determined whether or not the 3D display information of the avatar is already loaded, and the 3D display information of the avatar is loaded. If it is, the 3D display of the avatar may be performed. In this case, the display request button 64 is displayed in the image for the user who uses the avatar in which the 3D display information is loaded, while the display request button 64 is displayed in the image for the user who uses the avatar in which the 3D display information is not loaded. By not displaying 64, useless transmission of a feature display request and occurrence of processing based on the feature display request can be prevented.
 アバタを動画にフィーチャー表示する場合に、当該アバタのフィーチャー表示に関連した演出効果を表示してもよい。例えば、フィーチャー表示されるアバタを強調するように、当該アバタにスポットライトが当たっているような演出を行うことができる。フィーチャー表示されているアバタのフィーチャー表示を終了させる場合にも同様のまたは別の演出効果を表示することができる。 When displaying an avatar as a feature in a movie, you may display the effect related to the feature display of the avatar. For example, it is possible to perform an effect in which the avatar is illuminated by a spotlight so as to emphasize the avatar displayed as a feature. When the feature display of the avatar displayed as the feature is ended, the same or another effect can be displayed.
 表示要求処理部21jは、第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に動画に表示されてからの経過時間を計測してもよい。表示要求処理部21jは、当該経過時間を画像60fに表示してもよい。一実施形態においては、フィーチャー表示要求に基づいてキャラクタオブジェクト51とユーザのアバタとがともに表示される時間(あるアバタについてフィーチャー表示がなされる時間)の上限が設定されていてもよい。表示要求処理部21jは、当該上限となる時間を画像60fに表示してもよい。表示要求処理部21jは、当該上限となる時間と、第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に動画に表示してからの経過時間とに基づいて、アバタ56aを表示可能な残り時間を計算し、当該残り時間を画像60fに表示してもよい。第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に動画に表示されてからの経過時間、アバタ56aに設定された表示時間の上限、アバタ56aを表示可能な残り時間は、第1視聴ユーザのクライアント装置10aに表示されている画像60fのみに含められてもよく、第1視聴ユーザ及びその他のユーザのクライアント装置に表示されている画像60fに含められてもよい。フィーチャー表示が行われる時間の上限を設定することにより、より多くの視聴ユーザにフィーチャー表示によって自らのアバタをキャラクタオブジェクト51とともに表示する機会を提供することができる。また、実行中のフィーチャー表示の残り時間を表示することにより、視聴ユーザに対して次のアバタがフィーチャー表示されるまでの時間を知らせることができる。 The display request processing unit 21j may measure the elapsed time after the avatar 56a of the first viewing user is displayed in the moving image together with the character object 51. The display request processing unit 21j may display the elapsed time on the image 60f. In one embodiment, an upper limit may be set for the time during which both the character object 51 and the user's avatar are displayed based on the feature display request (the time during which feature display is performed for a certain avatar). The display request processing unit 21j may display the upper limit time on the image 60f. The display request processing unit 21j calculates the remaining time in which the avatar 56a can be displayed, based on the upper limit time and the elapsed time after the avatar 56a of the first viewing user is displayed in the moving image together with the character object 51. However, the remaining time may be displayed on the image 60f. The elapsed time after the avatar 56a of the first viewing user is displayed in the moving image together with the character object 51, the upper limit of the display time set in the avatar 56a, and the remaining time during which the avatar 56a can be displayed are the client device of the first viewing user. It may be included only in the image 60f displayed on the screen 10a, or may be included in the image 60f displayed on the client devices of the first viewing user and other users. By setting the upper limit of the time during which the feature display is performed, it is possible to provide more viewing users with an opportunity to display their own avatar together with the character object 51 by the feature display. Further, by displaying the remaining time of the feature display being executed, it is possible to notify the viewing user of the time until the feature display of the next avatar.
 表示要求処理部21jは、動画の配信ユーザ又はそれ以外のオペレータからの指示に基づいて、当該動画に参加しているアバタを当該動画から排除することができる。排除されたアバタは、当該動画の表示画面に表示されなくなる。同様に、表示要求処理部21jは、動画の配信ユーザ又はそれ以外のオペレータからの指示に基づいて、フィーチャー表示されているアバタを当該フィーチャー表示から排除することができる。排除されたアバタは、当該フィーチャー表示の画面に表示されなくなる。配信ユーザは、例えば、動画内で望ましくないコメントを行ったアバタ、動画内で望ましくない行動をとったアバタ、それ以外の動画に参加させておくことが望ましくないアバタを当該動画から及び/又はフィーチャー表示の表示画面から排除することができる。 The display request processing unit 21j can exclude an avatar participating in the video from the video based on an instruction from the video distribution user or another operator. The removed avatar is no longer displayed on the display screen of the moving image. Similarly, the display request processing unit 21j can exclude the avatar displayed as a feature from the feature display based on an instruction from the moving image distribution user or another operator. The removed avatar is no longer displayed on the screen of the feature display. The distribution user may, for example, use an avatar who makes an undesired comment in the video, an avatar who makes an undesired action in the video, or an avatar who does not want to be included in other videos from the video and/or features. Can be excluded from the display screen of the display.
 一実施形態において、アバタ制御部21iは、あるユーザのアバタがフィーチャー表示されている場合に、当該アバタの動きを、当該ユーザからの指示に基づいて制御することができる。例えば、アバタ制御部21iは、フィーチャー表示されているアバタのユーザからのエモーション表示要求を受け付け、当該エモーション表示要求に基づいて、当該アバタの行動を制御することができる。あるユーザの端末から送信されたフェイスモーションやボディモーションを用いてアバタの行動を制御するようにしてもよい。 In one embodiment, when the avatar of a certain user is feature-displayed, the avatar control unit 21i can control the movement of the avatar based on an instruction from the user. For example, the avatar control unit 21i can receive an emotion display request from the user of the avatar whose feature is displayed, and can control the action of the avatar based on the emotion display request. The action of the avatar may be controlled by using the face motion or the body motion transmitted from the terminal of a certain user.
 一実施形態において、表示要求処理部21jは、第1視聴ユーザからのフィーチャー表示要求が配信ユーザによって許可された場合に、当該第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に表示してもよい。表示要求処理部21jは、第1視聴ユーザからのフィーチャー表示要求を受け付けたことに応じて、第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に表示することを許可するか否かを配信ユーザに問い合わせてもよい。表示要求処理部21jは、第1視聴ユーザからフィーチャー表示要求を受け付けると、第1視聴ユーザを含む表示要求ユーザリストを生成し、当該表示要求ユーザリストを配信ユーザに提示してもよい。ある動画についての表示要求ユーザリストは、フィーチャー表示要求を行ったユーザ(又は当該ユーザのアバタ)を特定する情報(例えば、ユーザID、ユーザ名、ニックネーム、アバタID、又はこれら以外の情報)をリスト形式で示す。表示要求ユーザリストには、フィーチャー表示要求を送信したユーザの全てを含まなくともよい。例えば、表示要求ユーザリストには、フィーチャー表示要求を送信したユーザのうち、当該ユーザのアバタの3D表示情報が既にロードされているユーザのみを含んでもよい。このような表示要求ユーザリストには、フィーチャー表示要求を送信したユーザのうち、当該ユーザのアバタの3D表示情報がロードされていないユーザを特定する情報を含まない。3D表示情報がロードされていないアバタの3D表示を行うためには3D表示情報をランタイムロードする必要があるため、サーバ装置20の処理リソースを多く消費する。フィーチャー表示要求に3D表示情報がロード済のアバタを使用するユーザのみが含まれるようにすることで、ランタイムロードを回避することができる。 In one embodiment, the display request processing unit 21j may display the avatar 56a of the first viewing user together with the character object 51 when the feature display request from the first viewing user is permitted by the distribution user. In response to receiving the feature display request from the first viewing user, the display request processing unit 21j inquires of the distribution user whether or not to allow the avatar 56a of the first viewing user to be displayed together with the character object 51. May be. When receiving the feature display request from the first viewing user, the display request processing unit 21j may generate a display request user list including the first viewing user and present the display request user list to the distribution user. The display request user list for a certain moving image is a list of information (for example, a user ID, a user name, a nickname, an avatar ID, or other information) that identifies a user who has made a feature display request (or the avatar of the user). It is shown in the format. The display request user list may not include all the users who have transmitted the feature display request. For example, the display request user list may include only the users who have transmitted the feature display request and for which the 3D display information of the avatar of the user has already been loaded. Such a display request user list does not include information that specifies, among the users who have transmitted the feature display request, users who have not been loaded with the 3D display information of the avatar of the user. Since 3D display information needs to be loaded at runtime in order to perform 3D display of an avatar in which 3D display information is not loaded, a lot of processing resources of the server device 20 are consumed. By including only the user who uses the avatar with the 3D display information loaded in the feature display request, runtime loading can be avoided.
 表示要求処理部21jは、表示要求ユーザリストをサポータコンピュータ40に送信することができる。サポーターB1及びサポーターB2は、サポーターコンピュータ40のディスプレイに表示された表示要求ユーザリストからキャラクタオブジェクトと共に表示することを認めるアバタのユーザを選択することができる。表示要求ユーザリストは、スタジオルームRのディスプレイ39に表示されてもよい。アクターA1は、コントローラ33aまたはコントローラ33bを操作することにより、表示要求ユーザリストから、キャラクタオブジェクト51と共に表示するアバタのユーザを選択してもよい。表示要求ユーザリストから選択されたユーザに対しては、そのユーザのアバタをキャラクタオブジェクト51と共に表示する許可がなされたことになり、当該アバタが動画内にフィーチャー表示される。 The display request processing unit 21j can send the display request user list to the supporter computer 40. The supporter B1 and the supporter B2 can select a user of the avatar who is permitted to be displayed together with the character object from the display requesting user list displayed on the display of the supporter computer 40. The display requesting user list may be displayed on the display 39 of the studio room R. The actor A1 may select the user of the avatar to be displayed with the character object 51 from the display request user list by operating the controller 33a or the controller 33b. The user selected from the display requesting user list is permitted to display the avatar of the user together with the character object 51, and the avatar is feature-displayed in the moving image.
 一実施形態においては、表示要求ユーザリストからあるユーザが選択されたことに応じて当該ユーザを表示要求ユーザリストから削除してもよい。他の実施形態においては、あるユーザのアバタのフィーチャー表示が終了したことに応じて、当該ユーザを表示要求ユーザリストから削除してもよい。これにより、一度フィーチャー表示されたアバタを繰り返しフィーチャー表示することを防止できる。 In one embodiment, a user may be deleted from the display requesting user list in response to selection of a user from the display requesting user list. In another embodiment, the user may be deleted from the display requesting user list in response to the end of the feature display of the avatar of the user. As a result, it is possible to prevent the avatar once displayed as a feature from being repeatedly displayed as a feature.
 一実施形態においては、あるユーザがフィーチャー表示されている間、サポーターまたは配信ユーザが表示要求リストからフィーチャー表示するユーザを選択する指示をしたとしても、その選択されたユーザのアバタのフィーチャー表示が即座に行われなくともよい。また、フィーチャー表示が行われるまでは、その選択されたユーザが表示要求リストから削除もされなくてもよい。 In one embodiment, even if a supporter or a distribution user gives an instruction to select a user who displays a feature from a display request list while a user is displaying the feature, the feature display of the avatar of the selected user is immediately performed. It does not have to be done. Further, the selected user may not be deleted from the display request list until the feature display is performed.
 続いて、図8を参照して、一態様による動画配信処理について説明する。図8は、一実施形態における動画配信処理の流れを示すフロー図である。動画配信処理においては、スタジオルームRにアクターA1が在室していることが想定されている。 Next, with reference to FIG. 8, a moving image distribution process according to one aspect will be described. FIG. 8 is a flowchart showing a flow of moving image distribution processing according to the embodiment. In the moving image distribution process, it is assumed that the actor A1 is present in the studio room R.
 まず、ステップS11では、アクターA1の体の動きのデジタル表現であるボディモーションデータと、アクターA1の顔の動き(表情)のデジタル表現であるフェイスモーションデータと、が生成される。ボディモーションデータの生成は、例えば、上記のボディモーションデータ生成部21aで行われ、フェイスモーションデータの生成は、例えば、上記のフェイスモーションデータ生成部21bで行われる。 First, in step S11, body motion data that is a digital expression of the body movement of actor A1 and face motion data that is a digital expression of the movement (expression) of the face of actor A1 are generated. The body motion data is generated, for example, by the body motion data generation unit 21a, and the face motion data is generated, for example, by the face motion data generation unit 21b.
 次に、ステップS12において、アクターA1のボディモーションデータ及びフェイスモーションデータを、アクターA1用のモデルデータに適用することにより、アクターA1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部21cで行われる。 Next, in step S12, by applying the body motion data and the face motion data of the actor A1 to the model data for the actor A1, an animation of a character object that moves in synchronization with the movement of the body and facial expression of the actor A1 is generated. To be done. This animation is generated, for example, by the animation generation unit 21c.
 次に、ステップS13において、仮想空間の画像と、アクターA1に対応するキャラクタオブジェクトのアニメーションを含む動画を生成する。この動画には、アクターA1の音声が合成されてもよい。アクターA1のキャラクタオブジェクトのアニメーションは、仮想空間内に配置されてもよい。この動画の生成は、例えば、上記の動画生成部21dで行われる。 Next, in step S13, a moving image including the image of the virtual space and the animation of the character object corresponding to the actor A1 is generated. The voice of the actor A1 may be synthesized with this moving image. The animation of the character object of actor A1 may be arranged in the virtual space. The generation of this moving image is performed by, for example, the moving image generation unit 21d.
 次に、ステップS14に移行し、ステップS13にて生成された動画が配信される。この動画は、ネットワーク15を介してクライアント装置10a~クライアント装置10c及びこれら以外のクライアント装置に配信される。この動画は、サポーターコンピュータ40に配信され、また、スタジオルームR内のスクリーンSに投影されてもよい。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、30秒間、1分間、5分間、10分、30分間、60分間、120分間、及びこれら以外の任意の時間に定め得る。 Next, the process proceeds to step S14, and the moving image generated in step S13 is distributed. This moving image is distributed via the network 15 to the client devices 10a to 10c and other client devices. This moving image may be distributed to the supporter computer 40 or may be projected on the screen S in the studio room R. The moving image is continuously distributed for a predetermined distribution period. The distribution period of the moving image can be set to, for example, 30 seconds, 1 minute, 5 minutes, 10 minutes, 30 minutes, 60 minutes, 120 minutes, and any time other than these.
 次に、ステップS15に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、サポーターコンピュータ40により配信を終了するための指示がなされたこと、またはこれら以外の条件である。終了条件が成就していなければステップS11~S14の処理が繰り返し実行され、アクターA1の動きに同期したアニメーションを含む動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。 Next, in step S15, it is determined whether or not an end condition for ending the distribution of the moving image is satisfied. The end condition is, for example, that the end time of the distribution has been reached, that the supporter computer 40 has instructed to end the distribution, or any other condition. If the ending condition is not satisfied, the processes of steps S11 to S14 are repeatedly executed, and the distribution of the moving image including the animation synchronized with the movement of the actor A1 is continued. When it is determined that the ending condition is satisfied for the moving image, the distribution process of the moving image is ended.
 続いて、図9を参照して、一態様による参加要求処理について説明する。図9は、一実施形態における参加要求処理の流れを示すフロー図である。図9の参加要求処理においては、クライアント装置10aによって動画を視聴している第1視聴ユーザから当該第1視聴ユーザのアバタ56aを当該動画へ参加させることが要求されたことが想定されている。 Next, a participation request process according to one aspect will be described with reference to FIG. FIG. 9 is a flow chart showing the flow of the participation request processing according to the embodiment. In the participation request process of FIG. 9, it is assumed that the first viewing user who is viewing the video by the client device 10a requests the avatar 56a of the first viewing user to participate in the video.
 まず、ステップS21において、第1視聴ユーザからの参加要求が受け付けられる。参加要求は、第1視聴ユーザによってクライアント装置10aに表示されているアバタ参加ボタン63が選択されたことに応じて、クライアント装置10aからサーバ装置20に送信される。 First, in step S21, a participation request from the first viewing user is accepted. The participation request is transmitted from the client device 10a to the server device 20 in response to the selection of the avatar participation button 63 displayed on the client device 10a by the first viewing user.
 次に、ステップS22において、参加要求を送信したユーザが属するグループが特定される。ユーザが第1グループまたは第2グループに属する場合には、参加要求を送信した第1視聴ユーザが第1グループと第2グループのいずれに属するかが判定される。この判定は、例えば、上記の参加要求処理部21gにより行われる。 Next, in step S22, the group to which the user who transmitted the participation request belongs is specified. When the user belongs to the first group or the second group, it is determined whether the first viewing user who transmitted the participation request belongs to the first group or the second group. This determination is performed, for example, by the participation request processing unit 21g described above.
 第1視聴ユーザが第1グループに属すると判定された場合には、参加要求処理は、ステップS23に進む。ステップS23では、第1視聴ユーザのアバタ56aが仮想空間50の第1領域52aに配置される。これにより、仮想カメラの描画領域に第1領域52aが含まれる場合には、第1視聴ユーザのアバタ56aが動画内の第1領域52aに相当する位置に表示される。アバタ56aの第1領域52aへの配置は、例えば、上記の参加要求処理部21gにより行われる。 If it is determined that the first viewing user belongs to the first group, the participation request process proceeds to step S23. In step S23, the avatar 56a of the first viewing user is placed in the first area 52a of the virtual space 50. Accordingly, when the drawing area of the virtual camera includes the first area 52a, the avatar 56a of the first viewing user is displayed at a position corresponding to the first area 52a in the moving image. The placement of the avatar 56a in the first area 52a is performed by the participation request processing unit 21g, for example.
 第1視聴ユーザが第2グループに属すると判定された場合には、参加要求処理は、ステップS24に進む。ステップS24では、参加条件が満たされているか否かが判定される。参加条件は、上述のように、第2領域52bに配置されているアバタの数が第2領域52bついて設定されている第2上限数よりも少ないこと、第1視聴ユーザが配信ユーザによって選択されたこと、またはこれら以外の条件である。参加条件が満たされているか否かの判定は、例えば、上記の参加要求処理部21gにより行われる。 If it is determined that the first viewing user belongs to the second group, the participation request process proceeds to step S24. In step S24, it is determined whether or not the participation condition is satisfied. As described above, the participation condition is that the number of avatars arranged in the second area 52b is smaller than the second upper limit number set for the second area 52b, and the first viewing user is selected by the distribution user. Or other conditions. Whether or not the participation condition is satisfied is determined by, for example, the participation request processing unit 21g.
 参加条件が充足されていると判定されると参加要求処理はステップS25に進む。ステップS25では、第1視聴ユーザのアバタ56aが仮想空間50の第2領域52bに配置される。これにより、仮想カメラの描画領域に第2領域52bが含まれる場合には、第1視聴ユーザのアバタ56aが動画内の第2領域52bに相当する位置に表示される。アバタ56aの第2領域52bへの配置は、例えば、上記の参加要求処理部21gにより行われる。 If it is determined that the participation condition is satisfied, the participation request process proceeds to step S25. In step S25, the avatar 56a of the first viewing user is placed in the second area 52b of the virtual space 50. Accordingly, when the drawing area of the virtual camera includes the second area 52b, the avatar 56a of the first viewing user is displayed at a position corresponding to the second area 52b in the moving image. The placement of the avatar 56a in the second area 52b is performed by the participation request processing unit 21g, for example.
 参加条件が充足されていないと判定されると、第1視聴ユーザのアバタ56aの表示を行わずに参加要求処理を終了する。他の実施形態においては、参加条件が充足されていないと判定された場合に、参加条件が充足されるか否かの判定を繰り返し行ってもよい。 If it is determined that the participation condition is not satisfied, the participation request process is terminated without displaying the avatar 56a of the first viewing user. In another embodiment, when it is determined that the participation condition is not satisfied, the determination whether the participation condition is satisfied may be repeatedly performed.
 続いて、図10を参照して、一態様による表示要求処理について説明する。表示要求処理は、仮想空間に配置されているアバタのユーザからの表示要求(フィーチャー表示要求)に基づいて、当該アバタをキャラクタオブジェクト51と共に表示する(フィーチャー表示する)処理である。図10は、一実施形態における表示要求処理の流れを示すフロー図である。図10の表示要求処理においては、クライアント装置10aによって動画を視聴している第1視聴ユーザから当該第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に表示することを要求する表示要求がなされたことが想定されている。 Next, the display request processing according to one aspect will be described with reference to FIG. The display request process is a process of displaying the avatar together with the character object 51 (feature display) based on a display request (feature display request) from the user of the avatar arranged in the virtual space. FIG. 10 is a flowchart showing the flow of the display request processing according to the embodiment. In the display request process of FIG. 10, the display request is made by the first viewing user who is viewing the video by the client device 10a, and a request is made to display the avatar 56a of the first viewing user together with the character object 51. It is supposed.
 まず、ステップS31において、第1視聴ユーザからの表示要求が受け付けられる。表示要求は、第1視聴ユーザによってクライアント装置10aに表示されている表示要求ボタン64が選択されたことに応じて、クライアント装置10aからサーバ装置20に送信される。 First, in step S31, a display request from the first viewing user is accepted. The display request is transmitted from the client device 10a to the server device 20 in response to the selection of the display request button 64 displayed on the client device 10a by the first viewing user.
 次に、ステップS32において、第1視聴ユーザからの表示要求が配信ユーザによって許可されたか否かが判定される。許可されたと判定された場合には、表示要求処理はステップS33に進む。この判定は、例えば、上記の表示要求処理部21jにより行われる。 Next, in step S32, it is determined whether the display request from the first viewing user has been permitted by the distribution user. If it is determined that the display is permitted, the display request process proceeds to step S33. This determination is performed, for example, by the display request processing unit 21j.
 ステップS33では、第1視聴ユーザのアバタ56aをキャラクタオブジェクト51と共に表示するための処理がなされる。例えば、アバタ56aは、キャラクタオブジェクト51が配置されているフロアオブジェクト54aに配置される。アバタ56aのフロアオブジェクト54aへの配置は、例えば、上記の表示要求処理部21jにより行われる。 In step S33, processing for displaying the avatar 56a of the first viewing user together with the character object 51 is performed. For example, the avatar 56a is placed on the floor object 54a on which the character object 51 is placed. The placement of the avatar 56a on the floor object 54a is performed by the display request processing unit 21j, for example.
 配信ユーザによる許可が得られていないと判定されると、第1視聴ユーザのアバタ56aとキャラクタオブジェクト51とを共に表示することなく表示要求処理は終了する。他の実施形態では、配信ユーザからの許可がなされるまでステップS32での判定を繰り返し行ってもよい。 If it is determined that the distribution user has not obtained permission, the display request process ends without displaying the avatar 56a of the first viewing user and the character object 51 together. In another embodiment, the determination in step S32 may be repeated until permission is given from the distribution user.
 次に、図11を参照して、本発明の別の実施形態による動画配信システム101について説明する。動画配信システム101は、サーバ装置20と、クライアント装置110と、を備えている。動画配信システム101においては、サーバ装置20から受信するデータに基づいてクライアント装置110により動画(動画フレーム)が生成(レンダリング)される。クライアント装置110で動画を生成するために、サーバ装置20は、クライアント装置110での動画の生成に必要な表示用データを送信する表示用データ送信部21kを備える。図面を簡潔にするために記載を省略しているが、動画配信システム101のサーバ装置20は、表示用データ送信部21k以外に、動画配信システム1のサーバ装置20と同様の機能を提供することができてもよい。表示用データは、その表示用データに基づいて生成される動画フレームよりも小さいデータサイズを有する。動画配信システム101においては、レンダリングされた動画フレームではなく表示用データがサーバ装置20からクライアント装置110に対して送信される。この場合、レンダリングがクライアント装置110で実行されるので、通信量は削減されることができる。また、通信量が削減されることにより、動画配信システム101は伝送遅延を低減することができる。 Next, a moving image distribution system 101 according to another embodiment of the present invention will be described with reference to FIG. The moving image distribution system 101 includes a server device 20 and a client device 110. In the moving image distribution system 101, the client device 110 generates (renders) a moving image (moving image frame) based on the data received from the server device 20. In order to generate a moving image with the client device 110, the server device 20 includes a display data transmission unit 21k that transmits display data necessary for generating a moving image with the client device 110. Although not shown in order to simplify the drawing, the server device 20 of the video distribution system 101 provides the same functions as the server device 20 of the video distribution system 1 in addition to the display data transmission unit 21k. May be possible. The display data has a smaller data size than a moving image frame generated based on the display data. In the moving image distribution system 101, the display data, not the rendered moving image frame, is transmitted from the server device 20 to the client device 110. In this case, since the rendering is executed by the client device 110, the communication amount can be reduced. In addition, since the communication amount is reduced, the moving image distribution system 101 can reduce the transmission delay.
 表示用データ送信部21kが送信する表示用データには、ボディモーションデータ生成部21aにより生成されたアクターのボディモーションデータ、フェイスモーションデータ生成部21bにより生成されたフェイスモーションデータ、仮想空間を構成するオブジェクトを識別するオブジェクト識別情報、表示すべきアバタを識別するアバタ識別情報、及び表示すべきギフトを識別するギフト識別情報が含まれていてもよい。表示用データには、アクターの音声を表す音声情報が含まれても良い。あるオブジェクトを識別するオブジェクト識別情報には、当該オブジェクトの仮想空間内での位置を示す座標情報が含まれても良い。 The display data transmitted by the display data transmission unit 21k constitutes body motion data of the actor generated by the body motion data generation unit 21a, face motion data generated by the face motion data generation unit 21b, and virtual space. Object identification information for identifying an object, avatar identification information for identifying an avatar to be displayed, and gift identification information for identifying a gift to be displayed may be included. The display data may include voice information representing the voice of the actor. The object identification information for identifying an object may include coordinate information indicating the position of the object in the virtual space.
 表示用データ送信部21kは、サーバ装置20が視聴ユーザのクライアント装置10aからギフティング要求を受け付けた場合、当該ギフティング要求により表示が要求されたギフトオブジェクトを識別するギフト識別情報を表示用データに含めることができる。 When the server device 20 receives the gifting request from the client device 10a of the viewing user, the display data transmission unit 21k uses the gift identification information for identifying the gift object requested to be displayed by the gifting request as the display data. Can be included.
 表示用データ送信部21kは、参加要求処理部21gによって参加が認められたユーザのアバタを識別するアバタ識別情報を表示用データに含めることができる。表示用データ送信部21kは、あるアバタのアバタ識別情報とともに、当該アバタの仮想空間内における表示位置を示す表示位置情報を表示用データに含めても良い。あるアバタの表示位置を示す表示位置情報は、当該アバタが第1領域52aと52bのいずれに表示されるべきかを示してもよい。 The display data transmission unit 21k can include the avatar identification information for identifying the avatars of the users who are allowed to participate by the participation request processing unit 21g in the display data. The display data transmission unit 21k may include the display position information indicating the display position of the avatar in the virtual space, together with the avatar identification information of the avatar in the display data. The display position information indicating the display position of a certain avatar may indicate in which of the first areas 52a and 52b the avatar should be displayed.
 表示用データ送信部21kは、サーバ装置20が視聴ユーザのクライアント装置10aからギフティング要求を受け付けた場合、当該ギフティング要求により表示が要求されたギフトオブジェクトを識別するギフト識別情報を表示用データに含めることができる。 When the server device 20 receives the gifting request from the client device 10a of the viewing user, the display data transmission unit 21k uses the gift identification information for identifying the gift object requested to be displayed by the gifting request as the display data. Can be included.
 表示用データ送信部21kは、サーバ装置20が視聴ユーザからアバタに対する動作指示要求を受け付けた場合、当該動作指示要求を表示用データに含めることができる。この場合、表示用データには、動作指示要求により指定されている動作を識別する動作識別情報が含められてもよい。 When the server device 20 receives an operation instruction request for an avatar from a viewing user, the display data transmission unit 21k can include the operation instruction request in the display data. In this case, the display data may include motion identification information that identifies the motion designated by the motion instruction request.
 表示用データ送信部21kは、サーバ装置20が視聴ユーザから上述したフィーチャー表示要求を受け付けた場合、当該フィーチャー表示要求を表示用データに含めることができる。この場合、表示用データには、フィーチャー表示要求を行った視聴ユーザを識別する視聴者識別情報または当該視聴者のアバタを識別するアバタ識別情報が含められてもよい。 When the server device 20 receives the above-described feature display request from the viewing user, the display data transmission unit 21k can include the feature display request in the display data. In this case, the display data may include viewer identification information for identifying the viewing user who has made the feature display request or avatar identification information for identifying the avatar of the viewer.
 クライアント装置110は、サーバ装置20からの表示用データに基づいて動画を生成するように構成される。クライアント装置110は、スマートフォンなどの表示用データに基づいて動画を生成可能な各種情報処理装置である。表示用データに基づく動画の生成は、レンダリングとも呼ばれる。コンピュータプロセッサ121と、通信I/F122と、ストレージ123と、ディスプレイ124と、を備えている。クライアント装置110は、通信I/F122を介して、他の装置とデータを送受信することができる。ディスプレイ124は、表示パネルと、タッチパネルと、を有する。クライアント装置110は、生成した動画をディスプレイ124に表示する。 The client device 110 is configured to generate a moving image based on the display data from the server device 20. The client device 110 is various information processing devices such as a smartphone that can generate a moving image based on display data. Generation of a moving image based on display data is also called rendering. A computer processor 121, a communication I/F 122, a storage 123, and a display 124 are provided. The client device 110 can send and receive data to and from other devices via the communication I/F 122. The display 124 has a display panel and a touch panel. The client device 110 displays the generated moving image on the display 124.
 コンピュータプロセッサ121は、ストレージ123又はそれ以外のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。上述したコンピュータプロセッサ21に関する説明は、可能な限りコンピュータプロセッサ121にも当てはまる。 The computer processor 121 is an arithmetic unit that loads an operating system and various programs that realize various functions from a storage 123 or another storage into a memory, and executes instructions included in the loaded programs. The above description regarding the computer processor 21 also applies to the computer processor 121 as much as possible.
 ストレージ123は、コンピュータプロセッサ121によりアクセスされる記憶装置である。上述したストレージ23に関する説明は、可能な限りストレージ123にも当てはまる。ストレージ123には、モデルデータ123a、オブジェクトデータ123b、アバタデータ123c、及び前記以外の動画の生成に必要な様々な情報が記憶される。 The storage 123 is a storage device accessed by the computer processor 121. The above description regarding the storage 23 also applies to the storage 123 as much as possible. The storage 123 stores model data 123a, object data 123b, avatar data 123c, and various information necessary for generating moving images other than the above.
 モデルデータ123aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ23aに関する説明は、可能な限りモデルデータ123aにも当てはまる。例えば、モデルデータ123aは、キャラクタの骨格を示すリグデータと、キャラクタの表面の形状や質感を示す表面データと、を含むことができる。 The model data 123a is model data for generating a character animation. The description about the model data 23a also applies to the model data 123a as much as possible. For example, the model data 123a can include rig data indicating the skeleton of the character and surface data indicating the shape and texture of the surface of the character.
 オブジェクトデータ123bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ23bに関する説明は、可能な限りオブジェクトデータ123bにも当てはまる。例えば、モデルデータ123bには、ギフトオブジェクトを表示するためのデータが含まれ得る。 The object data 123b includes asset data for constructing a virtual space that constitutes a moving image. The description regarding the object data 23b also applies to the object data 123b as much as possible. For example, the model data 123b may include data for displaying a gift object.
 アバタデータ123cは、ユーザによって利用されるアバタのアタバ識別情報と、当該アバタを動画内に表示するためのアバタ表示情報と、を含むことができる。アバタデータ23dに関する説明は、可能な限りアバタデータ123cにも当てはまる。 The avatar data 123c can include avatar identification information of an avatar used by a user and avatar display information for displaying the avatar in a moving image. The description of the avatar data 23d also applies to the avatar data 123c as much as possible.
 ストレージ123は、仮想空間内において生じる物理現象をシミュレーションするプログラム(「物理演算エンジン」ということがある。)を記憶してもよい。コンピュータプロセッサ121は、物理演算エンジンを実行することにより、仮想空間内における物理現象のシミュレーションを行うことができる。 The storage 123 may store a program (sometimes called a “physical operation engine”) that simulates a physical phenomenon that occurs in the virtual space. The computer processor 121 can perform a simulation of a physical phenomenon in the virtual space by executing the physics operation engine.
 次に、コンピュータプロセッサ121により実現される機能についてより具体的に説明する。コンピュータプロセッサ121は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、アニメーション生成部121a、動画生成部121b、ギフト処理部121c、アバタ表示部121d、アバタ制御部121e、及び表示要求処理部121fとして機能する。コンピュータプロセッサ121により実現される機能の少なくとも一部は、コンピュータプロセッサ121以外のコンピュータプロセッサにより実現されてもよい。 Next, the functions implemented by the computer processor 121 will be described more specifically. The computer processor 121 executes a computer-readable instruction included in the distribution program to generate an animation generation unit 121a, a moving image generation unit 121b, a gift processing unit 121c, an avatar display unit 121d, an avatar control unit 121e, and a display request process. It functions as the part 121f. At least a part of the functions implemented by the computer processor 121 may be implemented by a computer processor other than the computer processor 121.
 アニメーション生成部121aは、サーバ装置20から受信した表示用データに基づいて、キャラクタオブジェクトのアニメーションを生成するように構成される。上記のように、表示用データにはボディモーションデータ及びフェイスモーションデータが含まれていてもよい。アニメーション生成部121aは、表示用データとして受信したボディモーションデータ及びフェイスモーションデータを、モデルデータ123aに含まれる所定のモデルデータに適用することにより、仮想空間内で動き、また、表情が変化するキャラクタオブジェクトのアニメーションを生成することができる。具体的には、アニメーション生成部121aは、アクターA1に関するボディモーションデータ及びフェイスモーションデータに基づいて、アクターA1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。 The animation generation unit 121a is configured to generate an animation of a character object based on the display data received from the server device 20. As described above, the display data may include body motion data and face motion data. The animation generation unit 121a applies the body motion data and the face motion data received as the display data to predetermined model data included in the model data 123a, thereby moving the character in the virtual space and changing the facial expression. Animations of objects can be generated. Specifically, the animation generation unit 121a can generate an animation of a character object that moves in synchronization with the movement of the body and facial expression of the actor A1 based on the body motion data and face motion data regarding the actor A1.
 動画生成部121bは、オブジェクトデータ123bを用いて仮想空間を構築し、この仮想空間と、アクターA1に対応するキャラクタオブジェクトのアニメーションと、を含む動画を生成する。より具体的には、動画生成部121bは、仮想空間とキャラクタオブジェクトのアニメーションとを含む動画フレームの連続的なシーケンスを生成する。仮想空間を構成するオブジェクトは、サーバ装置20から受信した表示用データに基づいて特定されてもよい。仮想空間を構成するオブジェクトは、当該仮想空間において表示用データに基づいて特定される位置に配置されてもよい。表示用データにアクターA1の音声が含まれている場合には、動画生成部121bは、生成した動画に当該音声を合成することができる。 The moving image generation unit 121b constructs a virtual space using the object data 123b and generates a moving image including this virtual space and the animation of the character object corresponding to the actor A1. More specifically, the moving image generation unit 121b generates a continuous sequence of moving image frames including the virtual space and the animation of the character object. The objects forming the virtual space may be specified based on the display data received from the server device 20. The objects forming the virtual space may be arranged in a position specified in the virtual space based on the display data. When the display data includes the sound of the actor A1, the moving image generation unit 121b can synthesize the sound with the generated moving image.
 ギフト処理部121cは、表示用データに含まれるギフト識別情報に基づいて表示すべきギフトオブジェクトを特定し、特定されたギフトオブジェクトに応じた表示処理を行う。ギフト処理部21fに関する上記の説明は、可能な限りギフト処理部121cにも当てはまる。例えば、ギフト処理部121cは、表示用データに含まれるギフト識別情報に応じて、エフェクトオブジェクト、通常オブジェクト、及び装飾オブジェクトの少なくとも一つを表示することができる。ギフト処理部121cは、物理演算エンジンの機能を実行してもよい。例えば、ギフト処理部121cは、表示用データが熊のぬいぐるみを示す通常オブジェクトを識別するギフト識別情報を含む場合、当該熊のぬいぐるみが重力により落下する動きをシミュレートし、そのシミュレートされた動きを行う熊のぬいぐるみを示す通常オブジェクトを動画中に表示することができる。 The gift processing unit 121c specifies a gift object to be displayed based on the gift identification information included in the display data, and performs display processing according to the specified gift object. The above description regarding the gift processing unit 21f also applies to the gift processing unit 121c as much as possible. For example, the gift processing unit 121c can display at least one of an effect object, a normal object, and a decoration object according to the gift identification information included in the display data. The gift processing unit 121c may execute the function of the physical calculation engine. For example, when the display data includes gift identification information for identifying a normal object that represents a teddy bear, the gift processing unit 121c simulates the motion of the teddy bear falling due to gravity, and the simulated motion. A normal object showing a stuffed bear can be displayed in the moving image.
 アバタ表示部121dは、表示用データに含まれるアバタ識別情報に基づいて表示すべき視聴ユーザのアバタを特定し、特定されたアバタを画像内に表示するための処理を行う。アバタの表示位置は、表示用データに含まれる当該アバタの表示位置情報に基づいて定められても良い。 The avatar display unit 121d identifies the avatar of the viewing user to be displayed based on the avatar identification information included in the display data, and performs processing for displaying the identified avatar in the image. The display position of the avatar may be determined based on the display position information of the avatar included in the display data.
 アバタ制御部121eは、表示用データに動作識別情報が含まれる場合には、当該動作識別情報で指定されている動作をアバタに行わせることができる。アタバは、動作識別情報に基づいて、例えば、ジャンプするという動作、手を振るという動作、サイリウムを振るという動作、及びこれら以外の動作を行うことができる。 If the display data includes the action identification information, the avatar control unit 121e can cause the avatar to perform the action specified by the action identification information. Based on the action identification information, the attacker can perform, for example, an action of jumping, an action of waving a hand, an action of waving a psyllium, and an action other than these.
 表示要求処理部121fは、表示用データにフィーチャー表示要求が含まれる場合には、当該フィーチャー表示要求に基づいて、当該フィーチャー表示要求を行った視聴ユーザのアバタをキャラクタオブジェクトと共に動画中に表示させることができる。 When the display data includes a feature display request, the display request processing unit 121f displays the avatar of the viewing user who has made the feature display request in the moving image together with the character object based on the feature display request. You can
 音声情報は、表示用データとは別個に、サーバ装置20からクライアント装置110に送信されてもよい。この場合、クライアント装置110は、音声情報と表示用データを合成して、動画を生成してもよい。 The voice information may be transmitted from the server device 20 to the client device 110 separately from the display data. In this case, the client device 110 may combine the audio information and the display data to generate a moving image.
 以上説明したように、クライアント装置110は、サーバ装置20からの表示用データに基づいて動画を生成し、生成した動画をディスプレイ124に表示することができる。クライアント装置110のユーザは、ディスプレイ124に表示された動画を視聴することができる。クライアント装置110は、クライアント装置10a~10cと同様にユーザが動画中のキャラクタオブジェクトや配信者とインタラクトとするための機能を提供することができる。例えば、クライアント装置110は、ギフトを贈るためのギフティング要求、自らのアバタを動画に参加させるための参加要求、及び自らのアバタをフィーチャー表示させるためのフィーチャー表示要求をサーバ装置20に送信するための機能を提供することができる。クライアント装置110は、クライアント装置10a~10cと同様にサーバ装置20が提供する各種サービスを利用することができる。 As described above, the client device 110 can generate a moving image based on the display data from the server device 20 and display the generated moving image on the display 124. The user of the client device 110 can view the moving image displayed on the display 124. Like the client devices 10a to 10c, the client device 110 can provide a function for a user to interact with a character object in a moving image or a distributor. For example, the client device 110 transmits to the server device 20 a gifting request for giving a gift, a participation request for allowing the avatar to participate in the video, and a feature display request for displaying the avatar as a feature. The function of can be provided. The client device 110 can use various services provided by the server device 20 as with the client devices 10a to 10c.
 本出願の明細書及び特許請求の範囲において、「動画の配信」、「動画のライブ配信」、「動画を配信する」、及び「動画をライブ配信する」という場合には、文脈上別に解釈すべき場合を除き、サーバ装置20において生成された動画をクライアント装置(例えば、クライアント装置10)に配信又はライブ配信する態様、及び、サーバ装置20からの表示用データに基づいてクライアント装置(例えば、クライアント装置110)において動画を生成する態様の一方又は両方を含む。また、本出願の明細書及び特許請求の範囲において「配信された動画」及び「ライブ配信された動画」という場合には、文脈上別に解釈すべき場合を除き、サーバ装置20において生成されて配信された動画と、サーバ装置20からの表示用データに基づいてクライアント装置110において生成された動画の一方又は両方を含む。つまり、「動画を配信」する場合には、その動画はサーバ装置20とクライアント装置のいずれで生成されてもよい。 In the description and claims of this application, the terms "video distribution", "video live distribution", "video distribution", and "video live distribution" are to be interpreted differently depending on the context. Except when necessary, a moving image generated in the server device 20 is distributed to a client device (for example, the client device 10) or a live distribution, and a client device (for example, a client device) based on display data from the server device 20. Device 110) includes one or both of the aspects of generating a movie. Further, in the specification and claims of the present application, the terms “delivered moving image” and “live delivered moving image” are generated and delivered in the server device 20 unless otherwise interpreted in context. One or both of the generated moving image and the moving image generated in the client device 110 based on the display data from the server device 20. That is, in the case of “delivering a moving image”, the moving image may be generated by either the server device 20 or the client device.
 以上の実施形態によって奏される作用効果について説明する。上記の一実施形態においては、サーバ装置20から配信される動画を視聴する第1視聴ユーザから当該動画への参加要求を受け付けたことに応じて、当該第1視聴ユーザが第1グループと第2グループのいずれに属するかが判定される。一実施形態においては、動画配信システム1、101又は視聴中の動画を配信している配信ユーザに対する第1視聴ユーザのエンゲージメントが高い場合に、第1視聴ユーザは第1グループの所属とされる。第1視聴ユーザが第1グループに属すると判定された場合には、当該第1視聴ユーザのアバタ56aが仮想空間50内の第1領域52aに配置される。一実施形態において、第1視聴ユーザが第1グループに属すると判定された場合には、それ以上の追加的な条件を要求することなく、アバタ56aが第1領域52aへ配置される。これにより、エンゲージメントが高い第1グループに属するユーザのアバタの動画への参加が妨げられない。一実施形態においては、第1グループに属するための基準の設定を通じて、第1グループに属するユーザの数を配信される動画に応じた適正な数に抑制することができる。これにより、配信される動画に多数のアバタが表示されることを防止できるので、サーバ装置20の処理負荷を抑制することができる。 Explain the operational effects achieved by the above embodiments. In the above-described one embodiment, the first viewing user receives the request for participation in the moving image from the first viewing user who views the moving image distributed from the server device 20, and the first viewing user sets the first viewing user and the second viewing user. Which of the groups it belongs to is determined. In one embodiment, the first viewing user is assigned to the first group when the engagement of the first viewing user with the moving image distribution system 1, 101 or the distribution user who distributes the moving image being viewed is high. When it is determined that the first viewing user belongs to the first group, the avatar 56a of the first viewing user is arranged in the first area 52a in the virtual space 50. In one embodiment, if it is determined that the first viewing user belongs to the first group, the avatar 56a is placed in the first area 52a without requiring any additional conditions. This does not prevent the users belonging to the first group with high engagement from participating in the avatar video. In one embodiment, the number of users belonging to the first group can be suppressed to an appropriate number according to the distributed video by setting a criterion for belonging to the first group. As a result, it is possible to prevent a large number of avatars from being displayed in the distributed moving image, so that the processing load on the server device 20 can be suppressed.
 一実施形態においては、第1視聴ユーザが第2グループに属すると判定された場合には、参加条件を充足するか否かの判定がさらに行われ、参加条件を充足すると判定されたことに応じて、当該第1視聴ユーザのアバタ56aが仮想空間50内の第2領域52bに配置される。よって、参加条件の設定を通じて、第2領域52bに表示されるアバタの数を適正な数に抑えることができるので、サーバ装置20の処理負荷を抑制することができる。 In one embodiment, when it is determined that the first viewing user belongs to the second group, it is further determined whether or not the participation condition is satisfied, and according to the determination that the participation condition is satisfied. Then, the avatar 56a of the first viewing user is placed in the second area 52b in the virtual space 50. Therefore, since the number of avatars displayed in the second area 52b can be suppressed to an appropriate number by setting the participation condition, the processing load on the server device 20 can be suppressed.
 一実施形態において、第1領域52aは、仮想空間50において第2領域52bよりもキャラクタオブジェクト51の近く(又は、キャラクタオブジェクトが配置される第3領域の近く)に配置される。これにより、エンゲージメントが高い視聴ユーザをキャラクタオブジェクト51に配置することができる。一実施形態において、仮想カメラ53a~53eは、キャラクタオブジェクト51が配置されている位置を向くように仮想空間50に配置されている。よって、第1領域52aに配置されるアバタの方が第2領域52bに配置されるアバタよりも仮想カメラの描画領域に含まれる可能性が高い。このように、一実施形態においては、エンゲージメントが高い第1グループのユーザのアバタを、描画領域に含まれやすい第1領域52aに配置することができる。 In one embodiment, the first area 52a is arranged in the virtual space 50 closer to the character object 51 than the second area 52b (or closer to the third area in which the character object is arranged). As a result, it is possible to arrange a viewing user having high engagement in the character object 51. In one embodiment, the virtual cameras 53a to 53e are arranged in the virtual space 50 so as to face the positions where the character objects 51 are arranged. Therefore, the avatar placed in the first area 52a is more likely to be included in the drawing area of the virtual camera than the avatar placed in the second area 52b. As described above, in one embodiment, the avatars of the first group of users having high engagement can be arranged in the first area 52a that is likely to be included in the drawing area.
 一実施形態において、参加条件は、第2領域52bに表示されているアバタの数が当該第2領域52bについて設定された表示数の上限よりも少ないことである。これにより、第2領域52bに表示されるアバタの数を上限数以下に抑えることができるので、サーバ装置20の処理負荷を抑制することができる。 In one embodiment, the participation condition is that the number of avatars displayed in the second area 52b is less than the upper limit of the number of displays set for the second area 52b. Accordingly, the number of avatars displayed in the second area 52b can be suppressed to the upper limit number or less, so that the processing load of the server device 20 can be suppressed.
 一実施形態において、参加条件は、視聴ユーザが配信ユーザによって選択されることである。これにより、配信ユーザにとって好ましい視聴ユーザのアバタを動画に参加させることができる。このため、配信される動画を介して形成されるコミュニティを健全に保ちやすくなる。 In one embodiment, the participation condition is that the viewing user is selected by the distribution user. As a result, the avatar of the viewing user, which is preferable for the distribution user, can be included in the moving image. For this reason, it becomes easy to keep the community formed through the distributed video sound.
 一実施形態においては、仮想空間50に配置されているアバタに対する動作指示を受け付け、当該動作指示に基づいて当該アバタの動きが制御される。これにより、視聴ユーザは、アバタへの動作指示を通じて、動画に含まれるキャラクタや当該動画に参加している他の視聴ユーザとインタラクトすることができる。 In one embodiment, an operation instruction for an avatar placed in the virtual space 50 is accepted, and the movement of the avatar is controlled based on the operation instruction. Thereby, the viewing user can interact with the character included in the moving image and other viewing users participating in the moving image through the operation instruction to the avatar.
 一実施形態においては、視聴ユーザのアバタが仮想空間50に配置されている間に当該アバタをキャラクタオブジェクト51と共に表示するための表示要求が受け付けられ、この表示要求が許可されたことに応じて、キャラクタオブジェクト51が配置されている第3領域に当該アバタが表示される。これにより、視聴ユーザに対して、配信ユーザのキャラクタとより密にコミュニケートする手段を提供することができる。 In one embodiment, a display request for displaying the avatar of the viewing user together with the character object 51 while the avatar of the viewing user is arranged in the virtual space 50 is accepted, and in response to the display request being permitted, The avatar is displayed in the third area in which the character object 51 is arranged. As a result, it is possible to provide the viewing user with means for more closely communicating with the character of the distribution user.
 本発明の実施形態は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で様々な変更が可能である。例えば、配信される動画は、スタジオルームR以外で撮影及び生成されてもよい。例えば、配信される動画を生成するための撮影は、アクターやサポーターの自宅で行われてもよい。クライアント装置10、110は、アバタ56aとキャラクタオブジェクト51とがともに表示されている画像(例えば、画像60f)を他の通信装置に送信する機能を有していてもよい。例えば、第1視聴ユーザは、クライアント装置10、110の機能を利用してアバタ56aとキャラクタオブジェクト51とがともに表示されている画像を、サーバ装置20が提供する動画サービス内のソーシャルネットワーキングサービス又はサーバ装置20が提供する動画サービスとは異なるソーシャルネットワーキングサービスにおいて配信することができる。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the invention. For example, the moving image to be distributed may be captured and generated outside the studio room R. For example, the shooting for generating the distributed moving image may be performed at the home of the actor or supporter. The client devices 10 and 110 may have a function of transmitting an image (for example, the image 60f) in which both the avatar 56a and the character object 51 are displayed to another communication device. For example, the first viewing user uses the functions of the client devices 10 and 110 to display an image in which both the avatar 56a and the character object 51 are displayed, a social networking service or a server in the video service provided by the server device 20. It can be distributed in a social networking service different from the video service provided by the device 20.
 本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程(ステップ)の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び/又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。 In the processing procedure described in this specification, particularly in the processing procedure described with reference to the flowchart, some of the steps (steps) constituting the processing procedure are omitted, It is possible to add steps that are not specified and/or change the order of the steps, and the processing procedure in which such omissions, additions, and changes in order are made without departing from the spirit of the present invention. It is included in the scope of the invention.
 1、101 動画配信システム 1, 101 video distribution system

Claims (10)

  1.  仮想空間と配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションとを含む動画をライブ配信する動画配信システムであって、
     一又は複数のコンピュータプロセッサを備え、
     前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
     前記動画を視聴する視聴ユーザから前記動画への参加要求を受け付けたことに応じて、当該視聴ユーザが第1グループと第2グループのいずれに属するかを判定し、
     前記視聴ユーザが前記第1グループに属すると判定された場合には前記視聴ユーザの特定アバタを前記仮想空間内の第1領域に配置し、
     前記視聴ユーザが前記第2グループに属すると判定された場合には参加条件を充足したことに応じて前記特定アバタを前記仮想空間内の第2領域に配置する、
     動画配信システム。
    A video distribution system for live distribution of a video including a virtual space and an animation of a character object generated based on a motion of a distribution user,
    Comprises one or more computer processors,
    The one or more computer processors execute computer-readable instructions to:
    In response to receiving a request to participate in the video from the viewing user who views the video, it is determined which of the first group and the second group the viewing user belongs to,
    When it is determined that the viewing user belongs to the first group, the specific avatar of the viewing user is arranged in the first area in the virtual space,
    When it is determined that the viewing user belongs to the second group, the specific avatar is arranged in the second area in the virtual space in accordance with the satisfaction of the participation condition.
    Video distribution system.
  2.  前記第1領域は、前記仮想空間において前記第2領域よりも前記キャラクタオブジェクトの近くに配置されている、
     請求項1に記載の動画配信システム。
    The first area is arranged closer to the character object than the second area in the virtual space,
    The moving image distribution system according to claim 1.
  3.  前記参加条件は、前記第2領域に表示されている前記視聴ユーザ以外のユーザのアバタの数が前記第2領域ついて設定された表示数の上限よりも少ないことである、
     請求項1又は請求項2に記載の動画配信システム。
    The participation condition is that the number of avatars of users other than the viewing user displayed in the second area is smaller than the upper limit of the number of displays set for the second area.
    The moving image distribution system according to claim 1 or 2.
  4.  前記参加条件は、前記視聴ユーザが前記配信ユーザによって選択されることである、
     請求項1又は請求項2に記載の動画配信システム。
    The participation condition is that the viewing user is selected by the distribution user,
    The moving image distribution system according to claim 1 or 2.
  5.  前記特定アバタを前記仮想空間内に表示するためのアバタデータを記憶するストレージをさらに備え、
     前記ストレージから読み出された前記アバタデータに基づいて前記特定アバタを前記仮想空間内に表示させる、
     請求項1から請求項4のいずれか1項に記載の動画配信システム。
    Further comprising a storage that stores avatar data for displaying the specific avatar in the virtual space,
    Displaying the specific avatar in the virtual space based on the avatar data read from the storage;
    The moving image distribution system according to any one of claims 1 to 4.
  6.  前記仮想空間に配置されている前記特定アバタに対する動作指示を受け付け、当該動作指示に基づいて、前記仮想空間内に表示されている前記特定アバタの動きを制御する、
     請求項1から請求項5のいずれか1項に記載の動画配信システム。
    An operation instruction for the specific avatar arranged in the virtual space is accepted, and the movement of the specific avatar displayed in the virtual space is controlled based on the operation instruction.
    The moving image distribution system according to any one of claims 1 to 5.
  7.  前記特定アバタが前記仮想空間に配置されている間に前記特定アバタについての表示要求を受け付け、当該表示要求が許可されたことに応じて、前記キャラクタオブジェクトが配置されている第3領域に前記特定アバタを表示する、
     請求項1から請求項6のいずれか1項に記載の動画配信システム。
    A display request for the specific avatar is accepted while the specific avatar is arranged in the virtual space, and the specification is performed in the third area in which the character object is arranged in response to the display request being permitted. Show avatar,
    The moving image distribution system according to any one of claims 1 to 6.
  8.  前記第3領域への前記特定アバタの配置は、前記特定アバタの表示要求を受け付けた後に前記視聴ユーザが前記配信ユーザによって選択されたときに行われる、
     請求項7に記載の動画配信システム。
    Arranging the specific avatar in the third area is performed when the viewing user is selected by the distribution user after receiving a display request for the specific avatar,
    The moving image distribution system according to claim 7.
  9.  一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信方法であって、
     前記動画を視聴する視聴ユーザから前記動画への参加要求を受け付けたことに応じて、当該視聴ユーザが第1グループと第2グループのいずれに属するかを判定する工程と、
     前記視聴ユーザが前記第1グループに属すると判定された場合には前記視聴ユーザの特定アバタを前記仮想空間内の第1領域に配置する工程と、
     前記視聴ユーザが前記第2グループに属すると判定された場合には参加条件を充足したことに応じて前記特定アバタを前記仮想空間内の第2領域に配置する工程と、
     を備える動画配信方法。
    A video distribution method for live distribution of a video including an animation of a character object generated based on a movement of a distribution user by executing computer-readable instructions by one or more computer processors,
    Determining whether the viewing user belongs to a first group or a second group in response to receiving a participation request to the video from a viewing user who views the video;
    Arranging the specific avatar of the viewing user in a first area in the virtual space when it is determined that the viewing user belongs to the first group;
    Arranging the specific avatar in a second area in the virtual space in response to satisfaction of a participation condition when it is determined that the viewing user belongs to the second group,
    Video distribution method that includes.
  10.  配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信プログラムであって、
     一又は複数のコンピュータプロセッサに、
     前記動画を視聴する視聴ユーザから前記動画への参加要求を受け付けたことに応じて、当該視聴ユーザが第1グループと第2グループのいずれに属するかを判定する工程と、
     前記視聴ユーザが前記第1グループに属すると判定された場合には前記視聴ユーザの特定アバタを前記仮想空間内の第1領域に配置する工程と、
     前記視聴ユーザが前記第2グループに属すると判定された場合には参加条件を充足したことに応じて前記特定アバタを前記仮想空間内の第2領域に配置する工程と、
     を実行させる動画配信プログラム。
    A video distribution program for live distribution of a video including an animation of a character object generated based on the movement of a distribution user,
    One or more computer processors,
    Determining whether the viewing user belongs to a first group or a second group in response to receiving a participation request to the video from a viewing user who views the video.
    Arranging the specific avatar of the viewing user in a first area in the virtual space when it is determined that the viewing user belongs to the first group;
    Arranging the specific avatar in a second area in the virtual space in response to satisfaction of a participation condition when it is determined that the viewing user belongs to the second group,
    A video distribution program that executes.
PCT/JP2019/050682 2018-12-28 2019-12-24 Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user WO2020138107A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018248253A JP2020107264A (en) 2018-12-28 2018-12-28 Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user
JP2018-248253 2018-12-28

Publications (1)

Publication Number Publication Date
WO2020138107A1 true WO2020138107A1 (en) 2020-07-02

Family

ID=71129435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050682 WO2020138107A1 (en) 2018-12-28 2019-12-24 Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user

Country Status (2)

Country Link
JP (1) JP2020107264A (en)
WO (1) WO2020138107A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090526A (en) * 2013-11-05 2015-05-11 株式会社 ディー・エヌ・エー Distribution system for content, distribution program, and distribution method
JP2016152521A (en) * 2015-02-18 2016-08-22 株式会社 ディー・エヌ・エー Server, program and method for providing video chat
JP2019192176A (en) * 2018-04-27 2019-10-31 株式会社コロプラ Program, information processing device, and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090526A (en) * 2013-11-05 2015-05-11 株式会社 ディー・エヌ・エー Distribution system for content, distribution program, and distribution method
JP2016152521A (en) * 2015-02-18 2016-08-22 株式会社 ディー・エヌ・エー Server, program and method for providing video chat
JP2019192176A (en) * 2018-04-27 2019-10-31 株式会社コロプラ Program, information processing device, and method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Non-official translation: Case 01 #Denno Shojo Siro #Virtual #Unity", CG WORLD, vol. 237, 1 May 2018 (2018-05-01), pages 34 - 49 *
NON-OFFICIAL TRANSLATION: PART 2: CONSUMER USES - WITH LOW-COST TOOLS AND SENSORS FOR SUPPORT, ANYBODY CAN BE PART OF THE "VTUBER", NIKKEI ELECTRONICS, vol. 1194, 20 July 2018 (2018-07-20), pages 28 - 32 *

Also Published As

Publication number Publication date
JP2020107264A (en) 2020-07-09

Similar Documents

Publication Publication Date Title
JP6382468B1 (en) Movie distribution system, movie distribution method, and movie distribution program for distributing movie including animation of character object generated based on movement of actor
JP6420930B1 (en) Movie distribution system, movie distribution method, and movie distribution program for distributing movie including animation of character object generated based on movement of actor
JP6276882B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP6431233B1 (en) Video distribution system that distributes video including messages from viewing users
JP6244593B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP2018094326A (en) Event control system, and event notification system and program
JP2020036305A (en) Moving image distribution system, moving image distribution method, and moving image distribution program for live distribution of moving image including animation of character object generated based on movement of distribution user
JP2020096335A (en) Video distribution system, video distribution method, and video distribution program
US11074737B2 (en) Information processing apparatus and method
WO2020138107A1 (en) Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user
WO2019216146A1 (en) Moving picture delivery system for delivering moving picture including animation of character object generated based on motions of actor, moving picture delivery method, and moving picture delivery program
JP2020096269A (en) Video distribution system, video distribution method, and video distribution program
JP6290467B1 (en) Information processing method, apparatus, and program causing computer to execute information processing method
JP6937803B2 (en) Distribution A video distribution system, video distribution method, and video distribution program that delivers live video including animation of character objects generated based on the movement of the user.
JP6431242B1 (en) Video distribution system that distributes video including messages from viewing users
JP6498832B1 (en) Video distribution system that distributes video including messages from viewing users
JP2021177409A (en) Video distribution system that distributes videos including messages from viewers
JP6592214B1 (en) Video distribution system that distributes video including messages from viewing users
JP6951394B2 (en) Video distribution system that distributes videos including messages from viewers
JP6847138B2 (en) A video distribution system, video distribution method, and video distribution program that distributes videos containing animations of character objects generated based on the movements of actors.
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
JP2020099096A (en) Video distribution system, video distribution method, and video distribution program
JP6671528B1 (en) Video distribution system, video distribution method, and video distribution program
JP6764442B2 (en) Video distribution system, video distribution method, and video distribution program that distributes videos including animations of character objects generated based on the movements of actors.
JP2020091884A (en) Moving image distribution system, moving image distribution method, and moving image distribution program distributing moving image including animation of character object generated based on actor movement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19902807

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE