JP6469279B1 - Content distribution server, content distribution system, content distribution method and program - Google Patents

Content distribution server, content distribution system, content distribution method and program Download PDF

Info

Publication number
JP6469279B1
JP6469279B1 JP2018077133A JP2018077133A JP6469279B1 JP 6469279 B1 JP6469279 B1 JP 6469279B1 JP 2018077133 A JP2018077133 A JP 2018077133A JP 2018077133 A JP2018077133 A JP 2018077133A JP 6469279 B1 JP6469279 B1 JP 6469279B1
Authority
JP
Japan
Prior art keywords
distribution
distributor
unit
participation
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018077133A
Other languages
Japanese (ja)
Other versions
JP2019186797A (en
Inventor
量生 川上
量生 川上
健太郎 松井
健太郎 松井
進之介 岩城
進之介 岩城
尚 小嶋
尚 小嶋
山口 直樹
直樹 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtual Cast Inc
Original Assignee
Virtual Cast Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtual Cast Inc filed Critical Virtual Cast Inc
Priority to JP2018077133A priority Critical patent/JP6469279B1/en
Application granted granted Critical
Publication of JP6469279B1 publication Critical patent/JP6469279B1/en
Publication of JP2019186797A publication Critical patent/JP2019186797A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】仮想空間を共有する形態としての利便性を向上させることが可能なコンテンツ配信サーバ等を提供する。
【解決手段】
コンテンツ配信サーバ100は、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部144と、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部141と、情報取得部141が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する映像生成部142と、映像生成部142が生成した映像に基づいてライブコンテンツを配信する配信部143とを備える。
【選択図】図2
A content distribution server and the like capable of improving convenience as a form of sharing a virtual space are provided.
[Solution]
The content distribution server 100 is a motion indicating the movements of the participation accepting unit 144 that accepts the other person's participation request in the virtual space used by the distributor and the participant who participates based on the distributor and the participation request. An information acquisition unit 141 that acquires information and information of each virtual character, a video generation unit 142 that generates a video in a virtual space in which motion information acquired by the information acquisition unit 141 is synthesized as a motion of a virtual character, and a video A distribution unit 143 that distributes live content based on the video generated by the generation unit 142;
[Selection] Figure 2

Description

本開示は、コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラムに関する。   The present disclosure relates to a content distribution server, a content distribution system, a content distribution method, and a program.

近年、ネットワークを介してライブコンテンツを配信するサービスがインターネット生放送として普及している。このようなインターネット生放送において、配信者が仮想空間内で仮想キャラクタ(アバター)として登場し、その映像をライブコンテンツとして配信する技術が提案されている。このようなライブコンテンツでは、モーションキャプチャ技術によって、配信者の動作が仮想キャラクタの動作として合成された映像が配信される。   In recent years, services for distributing live content via a network have become widespread as live Internet broadcasts. In such live Internet broadcasting, a technique has been proposed in which a distributor appears as a virtual character (avatar) in a virtual space and the video is distributed as live content. In such live content, video in which the motion of the distributor is synthesized as the motion of the virtual character is distributed by motion capture technology.

例えば、特許文献1は、HMD(Head Mount Display)を装着した演技者や観客がゲームや映画等に仮想キャラクタとして参加し、それを複数の視点で撮影した映像を多チャンネルで配信するシステムを開示している。   For example, Patent Document 1 discloses a system in which an actor or spectator wearing an HMD (Head Mount Display) participates in a game or movie as a virtual character, and distributes images taken from multiple viewpoints in multiple channels. doing.

特開2002−271693号公報JP 2002-271893 A

特許文献1には、演技者や同じ場所に集まった複数の観客が、それぞれ仮想キャラクタとして同じ仮想空間内に参加する構成が開示されている。しかしながら、このような構成では、演技者や同じ場所に集まった複数の観客でなければ、仮想キャラクタとして同じ仮想空間内に参加することができないため、ユーザが仮想空間を共有する形態としての利便性が低い。   Patent Document 1 discloses a configuration in which an actor and a plurality of spectators gathered at the same place each participate in the same virtual space as virtual characters. However, in such a configuration, a user or a plurality of spectators gathered at the same place can participate in the same virtual space as a virtual character. Is low.

例えば、インターネット生放送では、複数の配信者が共同してライブコンテンツを作成し、複数の配信者が一緒に映った映像を配信することがある。例えば、同じ場所に集まった複数の配信者が一つのカメラで撮影された映像を配信する場合と、現実空間において離れた場所で撮影された複数の配信者の配信画面を分割形式又は重畳形式で配信される。しかし、配信者が現実空間において離れた場所にいる場合、それぞれの映像は分離した状態であり、一つの場所を共有しているような映像を配信することはできない。   For example, in live Internet broadcasting, a plurality of distributors may collaborate to create live content, and a plurality of distributors may distribute video that is reflected together. For example, when a plurality of distributors gathered at the same location deliver video shot by a single camera, and the distribution screens of a plurality of distributors shot at distant locations in the real space are divided or superimposed. be delivered. However, when the distributor is located in a distant place in the real space, each video is in a separated state, and it is not possible to distribute a video that shares one place.

したがって、複数の配信者が現実空間において互いに離れた場所にいる場合であっても、ネットワークを介して複数の配信者が一つの場所を共有しているような配信を実現できることが好ましい。配信者が仮想空間内で仮想キャラクタとして登場するインターネット生放送においても、このような配信を実現する機能が求められている。配信者だけではなく、配信を視聴する視聴者が仮想キャラクタとして配信に参加できることが好ましい。そのような機能を実現する構成であれば、配信者と他の配信者、又は配信者と視聴者が同じ仮想空間内でコミュニケーションを取ることができる。かつ、その状態をライブコンテンツとして配信できるシステムが求められている。   Therefore, it is preferable that even when a plurality of distributors are located away from each other in the real space, it is possible to realize distribution in which a plurality of distributors share one place via the network. Even in Internet live broadcasting in which a distributor appears as a virtual character in a virtual space, a function for realizing such distribution is required. It is preferable that not only the distributor but also a viewer who watches the distribution can participate in the distribution as a virtual character. If it is the structure which implement | achieves such a function, a distributor and another distributor or a distributor and a viewer can communicate in the same virtual space. In addition, there is a need for a system that can distribute the state as live content.

また、仮想空間を共有する形態の利便性を高度化すれば、単なる映像の合成という観点ではなく、複数の配信番組の合成、収録スタジオとなる仮想空間にユーザが出入りすること、収録スタジオとなる仮想空間から他の収録スタジオとなる仮想空間への移動等を可能にすることもできる。   In addition, if the convenience of the form of sharing the virtual space is enhanced, it is not just a composition of video, but the synthesis of multiple distribution programs, the entry and exit of the virtual space that becomes the recording studio, the recording studio becomes It is also possible to move from the virtual space to a virtual space to be another recording studio.

そこで、本開示はこのような事情に鑑み、仮想空間を共有する形態としての利便性を向上させることが可能なコンテンツ配信サーバ等を提供することを目的とする。   Then, this indication aims at providing the content delivery server etc. which can improve the convenience as a form which shares a virtual space in view of such a situation.

上記目的を達成するため、本開示の第1の観点に係るコンテンツ配信サーバは、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部と、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部と、情報取得部が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する映像生成部と、映像生成部が生成した映像に基づいてライブコンテンツを配信する配信部とを備え、参加者は、配信を視聴する視聴者又は配信とは異なる他の配信を行う他の配信者であり、参加者が他の配信をしている他の配信者である場合、配信部は、視聴者の通信端末に、配信者と他の配信者の両方が映るように合成した映像を表示させる、ことを特徴とする。 In order to achieve the above object, a content distribution server according to a first aspect of the present disclosure includes a participation reception unit that receives a request for participation of another person in a virtual space that a distributor uses for distribution, and a distributor and a participation request. An information acquisition unit that acquires motion information indicating each movement of the participant who participates based on the information and information on each virtual character, and a virtual space in which the motion information acquired by the information acquisition unit is combined as a movement of the virtual character And a distribution unit that distributes live content based on the video generated by the video generation unit, and a participant performs another distribution different from the viewer who views the distribution or the distribution. If the distributor is another distributor who performs, and the participant is another distributor who performs other distributions, the distribution unit can display both the distributor and the other distributors on the viewer's communication terminal. Together Displays the the image, wherein the.

また、上記目的を達成するため、本開示の第2の観点に係るコンテンツ配信システムは、配信者が配信に使用する仮想空間内への他人の参加希望を受けつけて、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報をそれぞれの仮想キャラクタの動きとして合成した仮想空間内の映像を生成し、生成した映像に基づいてライブコンテンツを配信するコンテンツ配信サーバと、配信者が使用する配信者端末と、ライブコンテンツを視聴する視聴者が使用する視聴者端末とを備え、参加者は、配信を視聴する視聴者又は配信とは異なる他の配信を行う他の配信者であり、参加者が他の配信をしている他の配信者である場合、コンテンツ配信サーバは、視聴者の通信端末に、配信者と他の配信者の両方が映るように合成した映像を表示させる、ことを特徴とする。 In order to achieve the above object, the content distribution system according to the second aspect of the present disclosure accepts another person's participation request in the virtual space used by the distributor for distribution, and is based on the distributor and the participation request. A content distribution server that generates a video in a virtual space by combining motion information indicating each motion with a participant participating as a motion of each virtual character, and distributes live content based on the generated video; A distributor terminal used by a viewer and a viewer terminal used by a viewer who views live content, and a participant is a viewer who views the distribution or another distributor who performs another distribution different from the distribution And if the participant is another distributor who is distributing other content, the content distribution server will make sure that both the distributor and the other distributor appear on the viewer's communication terminal. And displays the form image, characterized in that.

また、上記目的を達成するため、本開示の第3の観点に係るコンテンツ配信方法は、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付ステップと、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得ステップと、情報取得ステップにおいて取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する映像生成ステップと、映像生成ステップにおいて生成した映像に基づいてライブコンテンツを配信する配信ステップとを含み、参加者は、配信を視聴する視聴者又は配信とは異なる他の配信を行う他の配信者であり、参加者が他の配信をしている他の配信者である場合、配信ステップにおいて、視聴者の通信端末に、配信者と他の配信者の両方が映るように合成した映像を表示させる、ことを特徴とする。 In order to achieve the above object, a content distribution method according to a third aspect of the present disclosure includes a participation reception step for receiving a request for participation of another person in a virtual space used for distribution by the distributor, An information acquisition step for acquiring motion information indicating each movement of the participant who participates based on the hope and information on each virtual character, and a virtual that combines the motion information acquired in the information acquisition step as the movement of the virtual character and image generation step of generating an image in space, only contains a distribution step for distributing live content based on the image generated in the image generation step, the participants, the other that is different from the audience or deliver to watch the delivery If you are another distributor who distributes and the participant is another distributor who distributes other Te, the communication terminal of a viewer, synthesized to display an image so that both distributor and another distributor is reflected, characterized in that.

また、上記目的を達成するため、本開示の第4の観点に係るプログラムは、コンピュータを、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付手段、配信者と参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得手段、情報取得手段が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する映像生成手段、映像生成手段が生成した映像に基づいてライブコンテンツを配信する配信手段として機能させ、参加者は、配信を視聴する視聴者又は配信とは異なる他の配信を行う他の配信者であり、参加者が他の配信をしている他の配信者である場合、配信手段は、視聴者の通信端末に、配信者と他の配信者の両方が映るように合成した映像を表示させるIn order to achieve the above object, a program according to the fourth aspect of the present disclosure includes a computer, a participation reception unit that receives a request for participation of another person in a virtual space used by a distributor, and a distributor and a participant Information acquisition means for acquiring motion information indicating each movement with the participant who participates based on hope and information on each virtual character, and a virtual space in which the motion information acquired by the information acquisition means is combined as the movement of the virtual character The video generation means for generating the video in the video, and the distribution means for distributing the live content based on the video generated by the video generation means , the participant can distribute the viewer or other distribution different from the distribution If the participant is another distributor who performs other distributions, the distribution means will send the distributor and other distributors to the viewer's communication terminal. And displays the synthesized image so that both followers are reflected.

本開示によれば、仮想空間を共有する形態としての利便性を向上させることが可能なコンテンツ配信サーバ等を提供することができる。   According to the present disclosure, it is possible to provide a content distribution server or the like that can improve convenience as a form of sharing a virtual space.

第1実施形態に係るコンテンツ配信システムの構成例を示す図である。It is a figure which shows the structural example of the content delivery system which concerns on 1st Embodiment. 第1実施形態に係るコンテンツ配信サーバの構成例を示すブロック図である。It is a block diagram which shows the structural example of the content delivery server which concerns on 1st Embodiment. 第1実施形態に係る配信者端末の構成例を示すブロック図である。It is a block diagram which shows the structural example of the distributor terminal which concerns on 1st Embodiment. 第1実施形態に係る視聴者端末の構成例を示すブロック図である。It is a block diagram which shows the structural example of the viewer terminal which concerns on 1st Embodiment. 第1実施形態に係る視聴者端末の構成例を示すブロック図である。It is a block diagram which shows the structural example of the viewer terminal which concerns on 1st Embodiment. 第1実施形態に係る視聴者端末に表示される配信画面の一例を示す図であり、(A)は視聴者が参加する前の配信画面を示し、(B)は視聴者が参加した後の配信画面を示している。It is a figure which shows an example of the delivery screen displayed on the viewer terminal which concerns on 1st Embodiment, (A) shows the delivery screen before a viewer participates, (B) after a viewer participates The distribution screen is shown. 第1実施形態に係るコンテンツ配信サーバの制御処理の一例を示すフローチャートである。It is a flowchart which shows an example of the control processing of the content delivery server which concerns on 1st Embodiment. 第2実施形態に係るコンテンツ配信システムの構成例を示す図である。It is a figure which shows the structural example of the content delivery system which concerns on 2nd Embodiment. 第2実施形態に係るコンテンツ配信サーバの構成例を示すブロック図である。It is a block diagram which shows the structural example of the content delivery server which concerns on 2nd Embodiment. 第2実施形態に係る配信者端末の構成例を示すブロック図である。It is a block diagram which shows the structural example of the distributor terminal which concerns on 2nd Embodiment. 第2実施形態に係る視聴者端末に表示される配信画面の一例を示す図であり、(A)は他の配信者が参加する前の配信者による配信画面を示し、(B)は他の配信者が参加する前の他の配信者による配信画面を示し、(C)は他の配信者が参加した後の配信画面を示している。It is a figure which shows an example of the delivery screen displayed on the viewer terminal which concerns on 2nd Embodiment, (A) shows the delivery screen by the distributor before other distributors participate, (B) shows other The distribution screen by the other distributor before a distributor participates is shown, and (C) shows the distribution screen after another distributor participates. 第2実施形態に係る仮想カメラによる撮影画面の一例を示す図であり、(A)は他の配信者が参加する前の撮影画面を示し、(B)は他の配信者が参加した後の撮影画面を示している。It is a figure which shows an example of the imaging | photography screen by the virtual camera which concerns on 2nd Embodiment, (A) shows the imaging | photography screen before another distributor participates, (B) is after another distributor participates. The shooting screen is shown. 第2実施形態に係るコンテンツ配信サーバの制御処理の一例を示すフローチャートである。It is a flowchart which shows an example of the control processing of the content delivery server which concerns on 2nd Embodiment.

以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。なお、第1実施形態では、視聴者が配信に参加する例を説明し、第2実施形態では、他の配信者が配信に参加する例を説明する。   Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. Note that the embodiments described below do not unduly limit the content of the present disclosure described in the claims. In addition, all the components shown in the embodiments are not necessarily essential components of the present disclosure. In the first embodiment, an example in which a viewer participates in distribution will be described. In the second embodiment, an example in which another distributor participates in distribution will be described.

(第1実施形態)
図1に示すように、本実施形態に係るコンテンツ配信システム1は、コンテンツ配信サーバ100と、一台以上の配信者端末200と、一台以上の視聴者端末300と、一台以上の視聴者端末400とを備える。コンテンツ配信サーバ100と、配信者端末200と、視聴者端末300と、視聴者端末400とは、それぞれネットワークNWを介して通信可能に接続される。ネットワークNWは、例えばWAN(World Area Network)である。
(First embodiment)
As shown in FIG. 1, the content distribution system 1 according to the present embodiment includes a content distribution server 100, one or more distributor terminals 200, one or more viewer terminals 300, and one or more viewers. A terminal 400. The content distribution server 100, the distributor terminal 200, the viewer terminal 300, and the viewer terminal 400 are communicably connected via the network NW. The network NW is, for example, a WAN (World Area Network).

コンテンツ配信サーバ100は、ネットワークNWを介して配信サービスを提供する。コンテンツ配信サーバ100は、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像に基づいてライブコンテンツを視聴者端末300、400に配信する。   The content distribution server 100 provides a distribution service via the network NW. The content distribution server 100 distributes live content to the viewer terminals 300 and 400 based on the video in the virtual space obtained by combining the motion of the distributor as the motion of the virtual character.

仮想空間の映像には、仮想キャラクタだけでなく、背景、仮想的な物体を示すオブジェクト等も含まれる。仮想空間は、基本的には、CG(Computer Graphics)によって生成される3次元空間である。なお、仮想空間は、2次元空間であってもよい。なお、配信者だけでなく、配信に参加する参加者がいる場合には、さらに、参加者の動きを参加者の仮想キャラクタの動きとして仮想空間内の映像が合成される。   The video in the virtual space includes not only virtual characters but also backgrounds, objects indicating virtual objects, and the like. The virtual space is basically a three-dimensional space generated by CG (Computer Graphics). Note that the virtual space may be a two-dimensional space. When there is a participant who participates in the distribution as well as the distributor, the video in the virtual space is further synthesized with the movement of the participant as the movement of the virtual character of the participant.

配信者端末200は、ライブコンテンツを配信する配信者によって使用される。配信者端末200は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。配信者端末200は、モーションキャプチャ機能により、配信者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、配信者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点(すなわちレンダリング)に反映される。なお、モーション情報には、配信者の表情を示すデータが含まれていてもよい。   Distributor terminal 200 is used by a distributor who distributes live content. The distributor terminal 200 is a communication terminal provided with an HMD, and has a communication function and a motion capture function. The distributor terminal 200 acquires the motion (gesture) and line of sight of the distributor as motion information by the motion capture function. The motion information is reflected in the movement of the virtual character associated with the distributor and the viewpoint (ie, rendering) in the video in the virtual space. Note that the motion information may include data indicating the facial expression of the distributor.

視聴者端末300は、パーソナルコンピュータ、タブレット端末、スマートフォン等の通信機能を有する装置である。視聴者端末300は、仮想キャラクタとして配信に参加するための機能を備えていない通信端末である。視聴者端末300は、ライブコンテンツを視聴する視聴者によって使用される。   The viewer terminal 300 is a device having a communication function such as a personal computer, a tablet terminal, or a smartphone. The viewer terminal 300 is a communication terminal that does not have a function for participating in distribution as a virtual character. The viewer terminal 300 is used by a viewer who views live content.

視聴者端末400は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。視聴者端末400は、モーションキャプチャ機能により、視聴者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、視聴者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点(すなわちレンダリング)に反映される。モーション情報には、視聴者の表情を示すデータが含まれていてもよい。   The viewer terminal 400 is a communication terminal equipped with an HMD, and has a communication function and a motion capture function. The viewer terminal 400 acquires the motion (gesture) and line of sight of the viewer as motion information by the motion capture function. The motion information is reflected on the movement of the virtual character associated with the viewer and the viewpoint (ie, rendering) in the video in the virtual space. The motion information may include data indicating the viewer's facial expression.

このように、視聴者端末400は、視聴者端末300とは異なり、視聴者が仮想キャラクタとして配信に参加するための構成を有する。すなわち、本実施形態では、一台上の視聴者端末400のうち、いずれか一つ以上の視聴者端末400が、参加者が使用する通信端末となる。   Thus, unlike the viewer terminal 300, the viewer terminal 400 has a configuration for the viewer to participate in distribution as a virtual character. In other words, in the present embodiment, any one or more of the viewer terminals 400 among the one viewer terminal 400 is a communication terminal used by the participant.

<コンテンツ配信サーバの構成>
以下、コンテンツ配信サーバ100の構成を詳細に説明する。図2に示すように、コンテンツ配信サーバ100は、他の装置と通信を行う通信部110と、各種データを記憶する記憶部120と、時刻を計時する計時部130と、装置全体の制御を行う制御部140とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
<Configuration of content distribution server>
Hereinafter, the configuration of the content distribution server 100 will be described in detail. As shown in FIG. 2, the content distribution server 100 controls a communication unit 110 that communicates with other devices, a storage unit 120 that stores various data, a clock unit 130 that measures time, and the entire device. And a control unit 140. These components are connected to each other by a bus line BL.

通信部110は、有線通信又は無線通信を行うためのNIC(Network Interface Card controller)を備える通信インターフェースである。通信部110は、ネットワークNWを介して、配信者端末200及び視聴者端末300、400と通信を行う。   The communication unit 110 is a communication interface including a NIC (Network Interface Card controller) for performing wired communication or wireless communication. The communication unit 110 communicates with the distributor terminal 200 and the viewer terminals 300 and 400 via the network NW.

記憶部120は、RAM(Random Access Memory)、ROM(Read Only Memory)等から構成される。記憶部120は、各種制御処理を実行するためのプログラム、各種データ等を記憶する。   The storage unit 120 includes a RAM (Random Access Memory), a ROM (Read Only Memory), and the like. The storage unit 120 stores programs for executing various control processes, various data, and the like.

計時部130は、クロック信号を生成するための発振回路及び可変PLL(Phase Locked Loop)、クロック信号のパルス数をカウントするカウンタ回路等から構成される。計時部130はカウントされるパルス数に基づいて時刻を計時する。   The timer unit 130 includes an oscillation circuit for generating a clock signal, a variable PLL (Phase Locked Loop), a counter circuit for counting the number of pulses of the clock signal, and the like. The timer 130 measures the time based on the counted number of pulses.

制御部140は、CPU(Central Processing Unit)等から構成される。制御部140は、記憶部120に記憶されているプログラムを実行することにより、コンテンツ配信サーバ100の全体の動作を制御する。制御部140は、計時部130がカウントするパルス数に基づいたタイミングで各種制御を実行する。また、制御部140は、計時部130が計時する時刻に基づいて、ライブコンテンツの開始時点からの経過時間をカウントしたり、予め定められた時間(例えば配信予定時間)を経過したか否かを判別したりする。   The control unit 140 includes a CPU (Central Processing Unit) and the like. The control unit 140 controls the overall operation of the content distribution server 100 by executing a program stored in the storage unit 120. The control unit 140 executes various controls at a timing based on the number of pulses counted by the time measuring unit 130. In addition, the control unit 140 counts the elapsed time from the start point of the live content based on the time counted by the time counting unit 130, and determines whether a predetermined time (for example, a scheduled distribution time) has elapsed. To determine.

以下、制御部140の機能的な構成を説明する。制御部140は、情報取得部141、映像生成部142、配信部143、参加受付部144、一覧情報配信部145として機能する。   Hereinafter, a functional configuration of the control unit 140 will be described. The control unit 140 functions as an information acquisition unit 141, a video generation unit 142, a distribution unit 143, a participation reception unit 144, and a list information distribution unit 145.

情報取得部141は、通信部110を介して、配信者端末200から配信者が使用する仮想キャラクタに関する情報と配信者の動きや視線を示すモーション情報とを取得する。また、情報取得部141は、通信部110を介して、配信に参加する視聴者(参加者)が使用する視聴者端末400から参加者が使用する仮想キャラクタに関する情報と参加者の動きや視線を示すモーション情報とを取得する。情報取得部141は、通信部110を介して配信者端末200と視聴者端末400から音声情報を取得する。   The information acquisition unit 141 acquires information regarding the virtual character used by the distributor and motion information indicating the movement and line of sight of the distributor from the distributor terminal 200 via the communication unit 110. In addition, the information acquisition unit 141 transmits, via the communication unit 110, information on the virtual character used by the participant from the viewer terminal 400 used by the viewer (participant) participating in the distribution, and the movement and line of sight of the participant. Get motion information to show. The information acquisition unit 141 acquires audio information from the distributor terminal 200 and the viewer terminal 400 via the communication unit 110.

ユーザは、例えば、使用する仮想キャラクタの情報を外部装置からダウンロードすることによって取得する。ユーザは、使用する仮想キャラクタの情報をコンテンツ配信サーバ100にアップロードすることによって、その仮想キャラクタを配信において使用することができる。なお、仮想キャラクタの情報は、コンテンツ配信サーバ100から提供されてもよい。例えば、ユーザは、コンテンツ配信サーバ100に予め記憶されている複数の仮想キャラクタの情報の中からいずれかを選択し、その仮想キャラクタが使用されてもよい。   For example, the user acquires the virtual character information to be used by downloading it from an external device. The user can use the virtual character in distribution by uploading information of the virtual character to be used to the content distribution server 100. Note that the virtual character information may be provided from the content distribution server 100. For example, the user may select any of a plurality of virtual character information stored in advance in the content distribution server 100, and the virtual character may be used.

映像生成部142は、配信者及び参加者の動きをそれぞれの仮想キャラクタの動きとして合成した仮想空間内の映像を生成する。合成は、例えば、予め定められた仮想空間内の映像を背景として、そこにあたかも仮想キャラクタが存在するように映像を生成し、さらに、その仮想キャラクタにその仮想キャラクタを使用する配信者又は参加者の動きが反映されるように映像を生成することによって実現される。   The video generation unit 142 generates a video in the virtual space in which the movements of the distributor and the participants are combined as the movements of the respective virtual characters. In the composition, for example, a video in a predetermined virtual space is used as a background, video is generated as if there is a virtual character, and a distributor or participant who uses the virtual character for the virtual character. This is realized by generating an image so that the movement of the image is reflected.

配信部143は、映像生成部142が生成した映像に基づいてライブコンテンツを配信する。生成した映像に基づくライブコンテンツとは、生成した映像データに対して各々の視点でレンダリングした映像を示す情報である。具体的には、ライブコンテンツは、生成した映像を配信者の仮想キャラクタの視点で見た場合の映像と、生成した映像を参加者の仮想キャラクタの視点で見た場合の映像と、生成した映像を配信用の仮想カメラの視点で見た場合の映像(配信画面)とを示す情報を含む。   The distribution unit 143 distributes live content based on the video generated by the video generation unit 142. The live content based on the generated video is information indicating video rendered from each viewpoint with respect to the generated video data. Specifically, the live content includes a video when the generated video is viewed from the viewpoint of the virtual character of the distributor, a video when the generated video is viewed from the viewpoint of the virtual character of the participant, and the generated video. Information indicating a video (distribution screen) when viewed from the viewpoint of a virtual camera for distribution.

配信部143によって配信されるライブコンテンツは、映像を示す情報だけでなく、音声情報をも含む。配信部143は、情報取得部141が取得した音声情報と、予め記憶部120に記憶され、演出に使用される音声情報とを、ライブコンテンツとして配信する。   The live content distributed by the distribution unit 143 includes not only information indicating video but also audio information. The distribution unit 143 distributes the audio information acquired by the information acquisition unit 141 and the audio information stored in advance in the storage unit 120 and used for production as live content.

参加受付部144は、配信者端末200から通信部110を介して、参加受付情報を取得する。参加受付部144は、参加受付情報を取得した場合に、その配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける。なお、本実施形態における他人は、視聴者である。参加受付部144は、配信者が配信している間に参加希望を受け付けてもよいし、配信開始前に参加希望を受け付けてもよい。   The participation reception unit 144 acquires participation reception information from the distributor terminal 200 via the communication unit 110. When the participation reception unit 144 acquires the participation reception information, the participation reception unit 144 receives another person's participation request in the virtual space that the distributor uses for distribution. In addition, the others in this embodiment are viewers. The participation reception unit 144 may receive a participation request while the distributor is distributing, or may receive a participation request before starting distribution.

参加受付部144は、参加希望する他人の情報を取得して、参加希望されている配信をしている配信者端末200に表示させる。他人の情報は、例えば、ユーザ名、仮想キャラクタ等を示す情報である。参加受付部144は、参加希望する他人の参加を許可又は拒否する操作を受け付ける画面を、参加希望されている配信をしている配信者端末200に表示させる。配信者が許可した場合、その他人は参加者として配信に参加することができる。   Participation reception part 144 acquires the information of the other person who wants to participate, and displays it on distributor terminal 200 which is performing distribution for which participation is desired. The other person's information is information indicating a user name, a virtual character, and the like, for example. The participation reception unit 144 displays a screen for accepting an operation of permitting or refusing participation of another person who desires to participate in the distributor terminal 200 that is performing distribution for which participation is desired. If the distributor permits, others can participate in the distribution as participants.

この場合、参加が許可された視聴者端末400には、参加する場合に使用する参加用URLが送信されてもよい。また、参加受付部144は、参加用URLを参加希望する他人の通信端末に送信するための操作画面を配信者端末200に表示させてもよい。この場合、配信者による参加用URLの送信操作が、配信者による参加の許可操作(後述する許可情報送信操作)の代わりにされてもよい。   In this case, a participation URL used for participation may be transmitted to the viewer terminal 400 that is permitted to participate. Moreover, the participation reception part 144 may display on the distributor terminal 200 an operation screen for transmitting the participation URL to the communication terminal of another person who wants to participate. In this case, the operation for transmitting the participation URL by the distributor may be performed in place of the operation for allowing participation by the distributor (permission information transmission operation described later).

一覧情報配信部145は、参加受付部144が一台以上の配信者端末200から取得した参加受付情報に基づいて、参加希望を受け付けている配信の一覧情報を配信する。具体的には、一覧情報配信部145は、通信部110を介して、他人の通信端末に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる。本実施形態では、他人の通信端末は、視聴者端末300、400である。しかし、一覧情報配信部145は、配信に参加するための構成を備える視聴者端末400だけに当該画面を表示させてもよい。   The list information distribution unit 145 distributes the list information of distributions for which participation requests are accepted based on the participation reception information acquired from the one or more distributor terminals 200 by the participation reception unit 144. Specifically, the list information distribution unit 145 causes the other person's communication terminal to display a screen showing distribution list information for which participation is accepted via the communication unit 110. In this embodiment, the communication terminals of other people are the viewer terminals 300 and 400. However, the list information distribution unit 145 may display the screen only on the viewer terminal 400 having a configuration for participating in distribution.

<配信者端末の構成>
以下、配信者端末200の構成を詳細に説明する。図3に示すように、配信者端末200は、他の装置と通信を行う通信部210と、ユーザの操作を受け付ける操作部220と、各種データを記憶する記憶部230と、各種画像を表示する表示部240と、音声入力を受け付ける音声入力部250と、モーション情報を入力するための動作入力部260と、各種音声を出力する音声出力部270と、装置全体の制御を行う制御部280とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
<Configuration of distributor terminal>
Hereinafter, the configuration of the distributor terminal 200 will be described in detail. As shown in FIG. 3, the distributor terminal 200 displays a communication unit 210 that communicates with other devices, an operation unit 220 that receives user operations, a storage unit 230 that stores various data, and various images. A display unit 240, a voice input unit 250 that receives voice input, an operation input unit 260 for inputting motion information, a voice output unit 270 that outputs various voices, and a control unit 280 that controls the entire apparatus. Prepare. These components are connected to each other by a bus line BL.

通信部210は、有線通信又は無線通信を行うためのNICを備える通信インターフェースである。通信部210は、ネットワークNWを介して、コンテンツ配信サーバ100と通信を行う。   The communication unit 210 is a communication interface including a NIC for performing wired communication or wireless communication. The communication unit 210 communicates with the content distribution server 100 via the network NW.

操作部220は、操作ボタン、キーボード、ポインティングデバイス等から構成され、ユーザが指示を入力するために用いられるインターフェースである。   The operation unit 220 includes an operation button, a keyboard, a pointing device, and the like, and is an interface used for a user to input an instruction.

記憶部230は、RAM、ROM等から構成される。記憶部230は、各種制御処理を実行するためのプログラム、入力データ等を記憶する。   The storage unit 230 includes a RAM, a ROM, and the like. The storage unit 230 stores a program for executing various control processes, input data, and the like.

表示部240は、例えば、LCD(Liquid Crystal Display)、EL(Electro Luminescence)ディスプレイ等によって構成される。表示部240は、制御部280からの入力データに応じてテキスト、画像等を表示する。   The display unit 240 includes, for example, an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or the like. The display unit 240 displays text, images, and the like according to input data from the control unit 280.

音声入力部250は、マイクロフォン等から構成される。音声入力部250は外部から入力された音声を受け付けて音声情報を取得する。   The voice input unit 250 includes a microphone or the like. The voice input unit 250 receives voice input from the outside and acquires voice information.

動作入力部260は、ユーザの入力操作を受け付けて、ユーザのモーション情報として取得する。動作入力部260は、例えば、モーションキャプチャ技術によってモーション情報を取得するためのカメラ、センサ等を備える。モーション情報は、例えば、ユーザの視線、動き(ジェスチャ)を検知するセンサによって検知される。また、モーション情報は、仮想キャラクタの表情や所定の演出動作等を表現するためのボタン操作によって取得されてもよい。   The motion input unit 260 receives a user input operation and acquires it as user motion information. The operation input unit 260 includes, for example, a camera, a sensor, and the like for acquiring motion information by a motion capture technique. The motion information is detected by, for example, a sensor that detects the user's line of sight and movement (gesture). Further, the motion information may be acquired by a button operation for expressing the facial expression of the virtual character, a predetermined performance action, or the like.

なお、ユーザのモーション情報を仮想キャラクタの動作、視線等に変換する処理は、配信者端末200において実行されてもよいし、コンテンツ配信サーバ100において実行されてもよいし、コンテンツ配信サーバ100及び配信者端末200の協働によって実行されてもよい。   It should be noted that the process of converting the user's motion information into the motion, line of sight, etc. of the virtual character may be executed by the distributor terminal 200, the content distribution server 100, or the content distribution server 100 and distribution. It may be executed by cooperation of the person terminal 200.

音声出力部270は、例えば、スピーカー、増幅器等によって構成される。音声出力部270は、制御部280からの入力データに応じて音声を出力する。   The audio output unit 270 is configured by, for example, a speaker, an amplifier, and the like. The audio output unit 270 outputs audio in accordance with input data from the control unit 280.

制御部280は、CPU等から構成される。制御部280は、記憶部230に記憶されているプログラムを実行することにより、配信者端末200の全体の動作を制御する。   The control unit 280 is configured by a CPU or the like. The control unit 280 controls the overall operation of the distributor terminal 200 by executing a program stored in the storage unit 230.

以下、制御部280の機能的な構成を説明する。制御部280は、コンテンツ取得部281、表示制御部282、音声出力制御部283、入力情報送信部284、参加受付情報送信部285、許可情報送信部286として機能する。   Hereinafter, a functional configuration of the control unit 280 will be described. The control unit 280 functions as a content acquisition unit 281, display control unit 282, audio output control unit 283, input information transmission unit 284, participation acceptance information transmission unit 285, and permission information transmission unit 286.

コンテンツ取得部281は、通信部210を介してコンテンツ配信サーバ100からライブコンテンツを示すデータを取得する。表示制御部282は、コンテンツ取得部281が取得したライブコンテンツを示すデータに基づいて、表示部240に仮想空間内の映像を表示させる。音声出力制御部283は、コンテンツ取得部281が取得したライブコンテンツを示すデータに基づいて音声出力部270に音声を出力させる。   The content acquisition unit 281 acquires data indicating live content from the content distribution server 100 via the communication unit 210. The display control unit 282 causes the display unit 240 to display the video in the virtual space based on the data indicating the live content acquired by the content acquisition unit 281. The audio output control unit 283 causes the audio output unit 270 to output audio based on the data indicating the live content acquired by the content acquisition unit 281.

入力情報送信部284は、音声入力部250において取得した音声情報と動作入力部260において取得したモーション情報とをコンテンツ配信サーバ100に送信する。なお、入力情報送信部284は、仮想キャラクタにモーション情報を反映させた後の情報をコンテンツ配信サーバ100に送信してもよい。   The input information transmission unit 284 transmits the audio information acquired by the audio input unit 250 and the motion information acquired by the operation input unit 260 to the content distribution server 100. Note that the input information transmission unit 284 may transmit information after the motion information is reflected on the virtual character to the content distribution server 100.

参加受付情報送信部285は、ユーザが設定した参加受付情報を、通信部210を介してコンテンツ配信サーバ100に送信する。参加受付情報は、配信への参加を募集することを示す情報であり、例えば、配信予定時間、募集人数、配信内容等の情報が含まれる。   The participation acceptance information transmission unit 285 transmits the participation acceptance information set by the user to the content distribution server 100 via the communication unit 210. The participation reception information is information indicating that the participation in the distribution is recruited, and includes, for example, information such as the scheduled distribution time, the number of recruited persons, and the content of the distribution.

許可情報送信部286は、ユーザの許可情報送信操作に応じて、通信部210を介して許可情報をコンテンツ配信サーバ100に送信する。許可情報は、ユーザが許可情報を他人の参加希望に対して許可又は拒否することを示す情報である。   The permission information transmission unit 286 transmits the permission information to the content distribution server 100 via the communication unit 210 in response to a user permission information transmission operation. The permission information is information indicating that the user permits or rejects the permission information for another person's desire to participate.

<視聴者端末の構成>
以下、視聴者端末300の構成を詳細に説明する。図4に示すように、視聴者端末300は、他の装置と通信を行う通信部310と、ユーザの入力操作を受け付ける操作部320と、各種データを記憶する記憶部330と、各種画像を表示する表示部340と、音声を出力する音声出力部350と、装置全体の制御を行う制御部360とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
<Configuration of viewer terminal>
Hereinafter, the configuration of the viewer terminal 300 will be described in detail. As shown in FIG. 4, the viewer terminal 300 displays a communication unit 310 that communicates with other devices, an operation unit 320 that receives user input operations, a storage unit 330 that stores various data, and various images. A display unit 340 that outputs sound, a sound output unit 350 that outputs sound, and a control unit 360 that controls the entire apparatus. These components are connected to each other by a bus line BL.

通信部310は、有線通信又は無線通信を行うためのNICを備える通信インターフェースである。通信部310は、ネットワークNWを介して、コンテンツ配信サーバ100と通信を行う。   The communication unit 310 is a communication interface including a NIC for performing wired communication or wireless communication. The communication unit 310 communicates with the content distribution server 100 via the network NW.

操作部320は、操作ボタン、キーボード、ポインティングデバイス等から構成され、ユーザが指示を入力するために用いられるインターフェースである。   The operation unit 320 includes an operation button, a keyboard, a pointing device, and the like, and is an interface used for a user to input an instruction.

記憶部330は、RAM、ROM等から構成される。記憶部330は、各種制御処理を実行するためのプログラム、入力データ等を記憶する。   The storage unit 330 includes a RAM, a ROM, and the like. The storage unit 330 stores a program for executing various control processes, input data, and the like.

表示部340は、例えば、LCD、ELディスプレイ等によって構成される。表示部340は、制御部360からの入力データに応じてテキスト、画像等を表示する。   The display unit 340 is configured by, for example, an LCD, an EL display, or the like. The display unit 340 displays text, images, and the like according to input data from the control unit 360.

音声出力部350は、スピーカー、アンプ等から構成される。音声出力部350は制御部360からの入力データに応じて音声を出力する。   The audio output unit 350 includes a speaker, an amplifier, and the like. The sound output unit 350 outputs sound according to the input data from the control unit 360.

制御部360は、CPU等から構成される。制御部360は、記憶部330に記憶されているプログラムを実行することにより、視聴者端末300の全体の動作を制御する。   The control unit 360 includes a CPU and the like. The control unit 360 controls the overall operation of the viewer terminal 300 by executing a program stored in the storage unit 330.

以下、制御部360の機能的な構成を説明する。制御部360は、コンテンツ取得部361、表示制御部362、音声出力制御部363として機能する。   Hereinafter, the functional configuration of the control unit 360 will be described. The control unit 360 functions as a content acquisition unit 361, a display control unit 362, and an audio output control unit 363.

コンテンツ取得部361は、通信部310を介してコンテンツ配信サーバ100からライブコンテンツを示すデータを取得する。表示制御部362は、コンテンツ取得部361が取得したライブコンテンツを示すデータに基づいて、表示部340に仮想空間内の映像を動画として表示させる。音声出力制御部363は、コンテンツ取得部361が取得したライブコンテンツを示すデータに基づいて音声出力部350に音声を出力させる。   The content acquisition unit 361 acquires data indicating live content from the content distribution server 100 via the communication unit 310. The display control unit 362 causes the display unit 340 to display the video in the virtual space as a moving image based on the data indicating the live content acquired by the content acquisition unit 361. The audio output control unit 363 causes the audio output unit 350 to output audio based on the data indicating the live content acquired by the content acquisition unit 361.

以下、視聴者端末400の構成を詳細に説明する。図5に示すように、視聴者端末400は、他の装置と通信を行う通信部410と、ユーザの入力操作を受け付ける操作部420と、各種データを記憶する記憶部430と、各種画像を表示する表示部440と、音声入力を受け付ける音声入力部450と、モーション情報を入力するための動作入力部460と、各種音声を出力する音声出力部470と、装置全体の制御を行う制御部480とを備える。これらの構成要素は、バスラインBLによって相互に接続される。   Hereinafter, the configuration of the viewer terminal 400 will be described in detail. As shown in FIG. 5, the viewer terminal 400 displays a communication unit 410 that communicates with other devices, an operation unit 420 that receives user input operations, a storage unit 430 that stores various data, and various images. A display unit 440 for receiving voice input, a voice input unit 450 for receiving voice input, an operation input unit 460 for inputting motion information, a voice output unit 470 for outputting various voices, and a control unit 480 for controlling the entire apparatus. Is provided. These components are connected to each other by a bus line BL.

視聴者端末400の構成は、基本的に、配信者端末200の構成と同じである。例えば、視聴者端末400は、視聴者が配信に参加するために必要な情報として、視聴者のモーション情報を取得し、それを視聴者の仮想キャラクタの動作に反映するためにコンテンツ配信サーバ100に送信する機能を有している。   The configuration of the viewer terminal 400 is basically the same as the configuration of the distributor terminal 200. For example, the viewer terminal 400 acquires the motion information of the viewer as information necessary for the viewer to participate in the distribution, and reflects it in the motion of the virtual character of the viewer in the content distribution server 100. It has a function to transmit.

ただし、視聴者端末400の制御部480は、参加受付情報送信部285及び許可情報送信部286を備えていない代わりに参加希望情報送信部485を備えている点で配信者端末200とは異なる。具体的には、視聴者端末400の制御部480は、コンテンツ取得部481、表示制御部482、音声出力制御部483、入力情報送信部484、参加希望情報送信部485として機能する。   However, the control unit 480 of the viewer terminal 400 is different from the distributor terminal 200 in that the participation request information transmission unit 485 is provided instead of the participation acceptance information transmission unit 285 and the permission information transmission unit 286. Specifically, the control unit 480 of the viewer terminal 400 functions as a content acquisition unit 481, a display control unit 482, an audio output control unit 483, an input information transmission unit 484, and a participation desire information transmission unit 485.

コンテンツ取得部481、表示制御部482、音声出力制御部483、入力情報送信部484の機能は、配信者端末200の制御部280のコンテンツ取得部281、表示制御部282、音声出力制御部283、入力情報送信部284の機能と基本的に同じである。なお、表示制御部482は、通信部410を介して、コンテンツ配信サーバ100から配信される一覧情報を取得し、参加希望を受け付けている配信の一覧情報を示す画面を表示部440に表示させる。   The functions of the content acquisition unit 481, the display control unit 482, the audio output control unit 483, and the input information transmission unit 484 are the content acquisition unit 281 of the control unit 280 of the distributor terminal 200, the display control unit 282, the audio output control unit 283, The function of the input information transmission unit 284 is basically the same. Note that the display control unit 482 acquires list information distributed from the content distribution server 100 via the communication unit 410 and causes the display unit 440 to display a screen indicating the list information of distributions for which participation requests are accepted.

参加希望情報送信部485は、通信部410を介して、参加希望を示す参加希望情報をコンテンツ配信サーバ100に送信する。具体的には、参加希望情報送信部485は、参加希望を受け付けている配信の一覧情報を示す画面に対して、ユーザが参加希望した場合に、その参加希望情報を送信する。   The participation request information transmission unit 485 transmits the participation request information indicating the participation request to the content distribution server 100 via the communication unit 410. Specifically, the participation request information transmission unit 485 transmits the participation request information when the user desires to participate in the screen showing the distribution list information for which the participation request is accepted.

<配信画面の具体例>
以下、配信されるライブコンテンツを示す情報に基づいて表示される配信画面の具体例を説明する。
<Specific example of distribution screen>
Hereinafter, a specific example of a distribution screen displayed based on information indicating live content to be distributed will be described.

図6は、視聴者端末300に表示される配信画面の一例を示している。図6(A)は視聴者が参加する前の配信画面を示し、図6(B)は視聴者が参加した後の配信画面を示している。領域A1には、仮想空間内の映像において、仮想カメラ(不図示)の視点でレンダリングされた画像が動画として表示される。領域A2には、視聴者が投稿するコメント入力欄が表示され、その右には、投稿実行ボタンB1が表示される。   FIG. 6 shows an example of a distribution screen displayed on the viewer terminal 300. FIG. 6A shows a distribution screen before the viewer participates, and FIG. 6B shows a distribution screen after the viewer participates. In the area A1, an image rendered from the viewpoint of a virtual camera (not shown) in a video in the virtual space is displayed as a moving image. In the area A2, a comment input field for posting by the viewer is displayed, and a posting execution button B1 is displayed on the right side thereof.

図6(A)において、領域A1に示す映像では、配信者Aを示す仮想キャラクタ10が表示されている。配信者Aは、配信者端末200を使用して配信している配信者である。なお、この映像には、仮想物体であるテーブルを示すオブジェクト20も表示されている。   In FIG. 6A, the virtual character 10 indicating the distributor A is displayed in the video shown in the area A1. The distributor A is a distributor who distributes using the distributor terminal 200. In this video, an object 20 indicating a table which is a virtual object is also displayed.

ここで、一台以上の視聴者端末400のいずれか一つを使用する視聴者である視聴者Aの参加を配信者Aが許可した場合、その視聴者端末400は、視聴者Aが使用する仮想キャラクタを示す情報と視聴者Aのモーション情報をコンテンツ配信サーバ100に送信する。   Here, when the distributor A permits the participation of the viewer A who is a viewer who uses any one of the one or more viewer terminals 400, the viewer terminal 400 is used by the viewer A. Information indicating the virtual character and motion information of the viewer A are transmitted to the content distribution server 100.

この結果、図6(B)に示すように、視聴者Aを示す仮想キャラクタ30が領域A1に表示され、配信画面に映り込む状態となる。なお、参加者である視聴者Aの仮想キャラクタ30は、参加が許可された場合に配信者Aが配信に使用している仮想空間内に入り込む。しかし、仮想キャラクタ30は、仮想カメラの撮影領域に入っていなければ、配信画面の領域A1には映らない。   As a result, as shown in FIG. 6B, the virtual character 30 indicating the viewer A is displayed in the area A1 and is reflected on the distribution screen. Note that the virtual character 30 of the viewer A who is a participant enters the virtual space used by the distributor A for distribution when participation is permitted. However, the virtual character 30 does not appear in the area A1 of the distribution screen unless it is in the shooting area of the virtual camera.

コンテンツ配信サーバ100の配信部143は、視聴者端末300に、参加者である視聴者Aと配信者Aを区別可能に表示させる。例えば、図6(B)の配信画面の領域A1において、配信者Aの仮想キャラクタ10の上方には、ユーザ名を示す「配信者A」の文字列が表示される。視聴者Aの仮想キャラクタ30の上方には、ユーザ名を示す「視聴者A」の文字列が表示される。   The distribution unit 143 of the content distribution server 100 causes the viewer terminal 300 to display the viewer A and the distributor A that are participants in a distinguishable manner. For example, in the area A1 of the distribution screen in FIG. 6B, a character string “distributor A” indicating the user name is displayed above the virtual character 10 of the distributor A. A character string “viewer A” indicating the user name is displayed above the virtual character 30 of the viewer A.

なお、配信画面に登場する仮想キャラクタの区別方法は、このような区別方法に限られない。例えば、配信部143は、配信者と参加者とのいずれか一方又は両方の仮想キャラクタに、枠や着色を付与することによって両者を区別可能に表示させてもよい。配信部143は、配信者と参加者とのいずれか一方又は両方の仮想キャラクタの付近に、識別マークを付与することによって両者を区別可能に表示させてもよい。   Note that the method of distinguishing virtual characters appearing on the distribution screen is not limited to such a distinction method. For example, the distribution unit 143 may display the virtual character of either one or both of the distributor and the participant so as to be distinguishable by adding a frame or coloring. The distribution unit 143 may display an identification mark in the vicinity of one or both of the virtual character of the distributor and the participant so that the both can be distinguished.

図6に示す配信画面は、基本的に視聴者端末300に表示される。しかし、参加者ではない視聴者が使用する視聴者端末400にも同様な配信画面が表示されてもよい。また、参加者ではない視聴者が使用する視聴者端末400には、領域A1の映像だけが表示されてもよい。配信者端末200と参加者が使用する視聴者端末400には、図6に示す配信画面ではなく、それぞれの仮想キャラクタ(すなわち仮想キャラクタ10又は仮想キャラクタ30)の視点でレンダリングされた仮想空間内の映像が表示される。   The distribution screen shown in FIG. 6 is basically displayed on the viewer terminal 300. However, a similar distribution screen may be displayed on the viewer terminal 400 used by a viewer who is not a participant. In addition, only the video in the area A1 may be displayed on the viewer terminal 400 used by a viewer who is not a participant. The distributor terminal 200 and the viewer terminal 400 used by the participants are not in the distribution screen shown in FIG. 6 but in the virtual space rendered from the viewpoint of the respective virtual characters (that is, the virtual character 10 or the virtual character 30). An image is displayed.

<処理の流れ>
以下、図7を参照しながら、コンテンツ配信サーバ100が実行する制御処理の一例を説明する。この処理は、コンテンツ配信サーバ100が一台以上の配信者端末200から参加受付情報を取得している場合に実行される。
<Process flow>
Hereinafter, an example of a control process executed by the content distribution server 100 will be described with reference to FIG. This process is executed when the content distribution server 100 acquires participation acceptance information from one or more distributor terminals 200.

まず、制御部140の一覧情報配信部145は、一台以上の配信者端末200から取得した参加受付情報に基づいて、視聴者端末300、400に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる(ステップS101)。参加受付情報を複数の配信者端末200から取得している場合、一覧情報配信部145は、それらを一覧できる一覧情報を、通信部110を介して視聴者端末300、400に配信する。   First, the list information distribution unit 145 of the control unit 140 displays, on the viewer terminals 300 and 400, distribution list information for which participation requests are received based on the participation reception information acquired from one or more distributor terminals 200. The screen shown is displayed (step S101). When the participation acceptance information is acquired from the plurality of distributor terminals 200, the list information distribution unit 145 distributes the list information that can list them to the viewer terminals 300 and 400 via the communication unit 110.

制御部140の参加受付部144は、配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける(ステップS102)。具体的には、参加受付部144は、視聴者端末400の参加希望情報送信部485から送信される参加希望情報を、通信部110を介して取得する。   The participation reception unit 144 of the control unit 140 receives a request for participation of another person in the virtual space used by the distributor for distribution (step S102). Specifically, the participation reception unit 144 acquires the participation request information transmitted from the participation request information transmission unit 485 of the viewer terminal 400 via the communication unit 110.

制御部140の参加受付部144は、参加希望する他人(すなわち参加希望者)の情報を取得して、その参加希望されている配信をしている配信者端末200に表示させる(ステップS103)。また、参加受付部144は、参加希望する他人の参加を許可又は拒否する操作を受け付ける画面をその配信者端末200に表示させ、参加の許可又は拒否を受け付ける(ステップS104)。   The participation reception unit 144 of the control unit 140 acquires information on the other person who wants to participate (that is, a person who wants to participate), and displays the information on the distributor terminal 200 that distributes the person who wants to participate (step S103). In addition, the participation reception unit 144 displays a screen for accepting an operation for permitting or rejecting the participation of another person who desires to participate in the distributor terminal 200, and accepts permission or rejection of participation (step S104).

ここで、制御部140は、配信者が参加を許可したか否かを判別する(ステップS105)。具体的には、制御部140は、配信者端末200の許可情報送信部286から取得した許可情報に基づいて配信者が参加を許可したか否かを判別する。   Here, the control unit 140 determines whether or not the distributor has permitted participation (step S105). Specifically, the control unit 140 determines whether or not the distributor has permitted participation based on the permission information acquired from the permission information transmission unit 286 of the distributor terminal 200.

参加が拒否された場合(ステップS105;N)、制御部140の情報取得部141は、配信している配信者端末200から配信者の各種情報を取得する(ステップS107)。すなわち、コンテンツ配信サーバ100は、参加者がいない場合には、配信者の仮想キャラクタの情報とモーション情報のみを取得して、以降のステップS108、S109の処理を行う。   When participation is refused (step S105; N), the information acquisition part 141 of the control part 140 acquires the various information of a distributor from the distributor terminal 200 which is distributing (step S107). That is, if there is no participant, the content distribution server 100 acquires only the virtual character information and motion information of the distributor, and performs the subsequent steps S108 and S109.

一方、参加が許可された場合(ステップS105;Y)、制御部140の情報取得部141は、配信している配信者端末200から配信者の各種情報と、その配信に参加する視聴者の各種情報とを取得する(ステップS106)。すなわち、コンテンツ配信サーバ100は、配信者及び参加者のそれぞれの仮想キャラクタの情報とモーション情報を取得して、以降のステップS108、S109の処理を行う。   On the other hand, when the participation is permitted (step S105; Y), the information acquisition unit 141 of the control unit 140 receives various information of the distributor from the distributor terminal 200 that distributes and various types of viewers who participate in the distribution. Information is acquired (step S106). That is, the content distribution server 100 acquires the virtual character information and motion information of each distributor and participant, and performs the processes of subsequent steps S108 and S109.

制御部140の映像生成部142は、情報取得部141が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する(ステップS108)。   The video generation unit 142 of the control unit 140 generates a video in the virtual space in which the motion information acquired by the information acquisition unit 141 is combined as the motion of the virtual character (step S108).

制御部140の配信部143は、映像生成部142が生成した映像に基づいてライブコンテンツを配信する(ステップS109)。これにより、配信者端末200には、配信者の仮想キャラクタの視点の映像が表示され、配信に参加する視聴者の視聴者端末400には、その視聴者の仮想キャラクタの視点の映像が表示される。配信に参加しない視聴者の視聴者端末300、400には、配信画面が表示される。   The distribution unit 143 of the control unit 140 distributes live content based on the video generated by the video generation unit 142 (step S109). Thereby, the video of the viewpoint of the virtual character of the distributor is displayed on the distributor terminal 200, and the video of the viewpoint of the virtual character of the viewer is displayed on the viewer terminal 400 of the viewer participating in the distribution. The A distribution screen is displayed on the viewer terminals 300 and 400 of viewers who do not participate in distribution.

以上、コンテンツ配信サーバ100が実行する制御処理の一例を説明した。なお、処理の流れは、このような流れに限られない。例えば、配信者が配信している間に参加を受け付ける場合には、ステップS101より前にステップS107、S108、S109のように、配信者だけで配信する処理が実行されてもよい。配信者の参加の許可の意思決定を反映するための処理であるステップS104に代えて、先着順の所定数の参加希望者を自動的に参加させる処理が実行されてもよい。   The example of the control process executed by the content distribution server 100 has been described above. Note that the flow of processing is not limited to such a flow. For example, when accepting participation while the distributor is distributing, a process of distributing only by the distributor may be executed as in steps S107, S108, and S109 before step S101. Instead of step S104, which is a process for reflecting the decision of permission to participate in the distributor, a process for automatically participating a predetermined number of applicants in the order of arrival may be executed.

<効果の説明>
本実施形態に係るコンテンツ配信システム1において、コンテンツ配信サーバ100は、ネットワークを介して、視聴者から配信への参加希望を受け付ける。この場合、配信者と視聴者は、現実空間において離れた場所にいる場合であっても、それぞれの仮想キャラクタとして仮想空間を共有して配信を行うことができる。したがって、本実施形態に係るコンテンツ配信システム1によれば、仮想空間を共有する形態としての利便性を向上させることができる。
<Description of effects>
In the content distribution system 1 according to the present embodiment, the content distribution server 100 receives a desire to participate in distribution from a viewer via a network. In this case, the distributor and the viewer can share the virtual space as the respective virtual characters and perform distribution even when they are in a distant place in the real space. Therefore, according to the content delivery system 1 which concerns on this embodiment, the convenience as a form which shares a virtual space can be improved.

(第2実施形態)
本実施形態では、第2実施形態に係るコンテンツ配信システム2について説明する。なお、以下の説明において、第1実施形態に係るコンテンツ配信システム1と共通する構成要素については同一の符号を付して説明する。また、コンテンツ配信システム2の構成とコンテンツ配信システム1の構成とは、技術的な矛盾が生じない限り、適宜組み合わせ可能である。
(Second Embodiment)
In the present embodiment, the content distribution system 2 according to the second embodiment will be described. In the following description, components common to the content distribution system 1 according to the first embodiment will be described with the same reference numerals. Further, the configuration of the content distribution system 2 and the configuration of the content distribution system 1 can be appropriately combined as long as there is no technical contradiction.

例えば、コンテンツ配信システム1は、視聴者が配信に参加するための構成であり、コンテンツ配信システム2は、他の配信者が配信に参加するための構成である。そのため、これらの構成を組み合わせて、視聴者も他の配信者も参加できる構成を実現することも可能である。   For example, the content distribution system 1 has a configuration for viewers to participate in distribution, and the content distribution system 2 has a configuration for other distributors to participate in distribution. Therefore, it is possible to realize a configuration in which viewers and other distributors can participate by combining these configurations.

図8に示すように、本実施形態に係るコンテンツ配信システム2は、コンテンツ配信サーバ500と、配信者が使用する配信者端末600と、他の配信者が使用する配信者端末700と、一台以上の視聴者端末300と、一台以上の視聴者端末800と、一台以上の撮影者端末900とを備える。これらの装置は、それぞれネットワークNWを介して通信可能に接続される。ネットワークNWは、例えばWANである。   As shown in FIG. 8, the content distribution system 2 according to the present embodiment includes a content distribution server 500, a distributor terminal 600 used by a distributor, a distributor terminal 700 used by another distributor, and one unit. The above-described viewer terminal 300, one or more viewer terminals 800, and one or more photographer terminals 900 are provided. These apparatuses are connected to each other via a network NW so as to communicate with each other. The network NW is, for example, a WAN.

コンテンツ配信サーバ500は、ネットワークNWを介して配信サービスを提供する。コンテンツ配信サーバ100は、配信者の動きを仮想キャラクタの動きとして合成した仮想空間内の映像に基づいてライブコンテンツを視聴者端末300、800に配信する。なお、配信者だけでなく、配信に参加する参加者がいる場合には、さらに、参加者の動きを参加者の仮想キャラクタの動きとして仮想空間内の映像が合成される。   The content distribution server 500 provides a distribution service via the network NW. The content distribution server 100 distributes live content to the viewer terminals 300 and 800 based on the video in the virtual space obtained by combining the motion of the distributor as the motion of the virtual character. When there is a participant who participates in the distribution as well as the distributor, the video in the virtual space is further synthesized with the movement of the participant as the movement of the virtual character of the participant.

配信者端末600、700は、それぞれライブコンテンツを配信する配信者によって使用される。配信者端末600、700は、HMDを備える通信端末であり、通信機能及びモーションキャプチャ機能を有する。配信者端末600、700は、モーションキャプチャ機能により、配信者の動き(ジェスチャ)や視線をモーション情報として取得する。モーション情報は、配信者に対応付けられた仮想キャラクタの動きと仮想空間内の映像における視点(すなわちレンダリング)に反映される。なお、モーション情報には、配信者の表情を示すデータが含まれていてもよい。   Distributor terminals 600 and 700 are used by distributors who distribute live content, respectively. Distributor terminals 600 and 700 are communication terminals including an HMD and have a communication function and a motion capture function. Distributor terminals 600 and 700 acquire the motion (gesture) and line of sight of the distributor as motion information by the motion capture function. The motion information is reflected in the movement of the virtual character associated with the distributor and the viewpoint (ie, rendering) in the video in the virtual space. Note that the motion information may include data indicating the facial expression of the distributor.

視聴者端末300、800は、パーソナルコンピュータ、タブレット端末、スマートフォン等の通信機能を有する装置である。視聴者端末300、800は、仮想キャラクタとして配信に参加するための機能を備えていない通信端末である。視聴者端末300、800は、ライブコンテンツを視聴する視聴者によって使用される。視聴者端末800の構成は、視聴者端末300と同じである。   The viewer terminals 300 and 800 are devices having communication functions such as personal computers, tablet terminals, and smartphones. The viewer terminals 300 and 800 are communication terminals that do not have a function for participating in distribution as a virtual character. The viewer terminals 300 and 800 are used by viewers who view live content. The configuration of the viewer terminal 800 is the same as that of the viewer terminal 300.

撮影者端末900は、仮想空間内で撮影する仮想カメラの位置、撮影方向、撮影条件等を制御する機能を有する通信端末である。撮影者端末900によって制御される仮想カメラの映像は、通常の固定されている配信画面とは異なる視点の映像を配信する配信画面として視聴者端末300、800に配信される。   The photographer terminal 900 is a communication terminal having a function of controlling the position, shooting direction, shooting conditions, and the like of a virtual camera that takes a picture in a virtual space. The video of the virtual camera controlled by the photographer terminal 900 is distributed to the viewer terminals 300 and 800 as a distribution screen for distributing a video of a viewpoint different from the normal fixed distribution screen.

以下の説明では、配信者端末600を使用する配信者による配信を視聴者端末300の視聴者が視聴している状態を前提条件とする。また、配信者端末700を使用する配信者(他の配信者)による配信であって、配信者端末600の配信とは独立した配信(他の配信)を視聴者端末800の視聴者が視聴している状態を前提条件とする。撮影者端末900は、配信者端末700による他の配信に使用されている仮想空間内に配置された仮想カメラを制御して、その撮影映像を配信している状態を前提条件とする。   In the following description, it is assumed that the viewer of the viewer terminal 300 is viewing the distribution by the distributor using the distributor terminal 600. In addition, the viewer of the viewer terminal 800 views the distribution (other distribution) independent of the distribution of the distributor terminal 600 by the distributor (other distributor) using the distributor terminal 700. The precondition is that The photographer terminal 900 presupposes a state in which the photographed video is distributed by controlling a virtual camera arranged in a virtual space used for another distribution by the distributor terminal 700.

配信者端末700を使用する配信者は、配信者端末600による配信に参加することを前提条件とする。すなわち、本実施形態では、配信者端末700が、参加者が使用する通信端末となる。   It is a precondition that a distributor using the distributor terminal 700 participates in distribution by the distributor terminal 600. That is, in this embodiment, the distributor terminal 700 is a communication terminal used by the participants.

なお、コンテンツ配信システム2は、1台の配信者端末600と1台の配信者端末700を備えている。しかし、配信をしている配信者端末600とその配信に参加する配信者端末700は、それぞれ複数台であってもよい。   The content distribution system 2 includes one distributor terminal 600 and one distributor terminal 700. However, there may be a plurality of distributor terminals 600 performing distribution and distributor terminals 700 participating in the distribution.

また、撮影者端末900は、配信者端末700の配信の仮想空間内だけでなく、配信者端末600の配信の仮想空間内に配置されていてもよい。コンテンツ配信システム2では、一つのコンテンツ配信サーバ500を使用して、配信者端末600、700がそれぞれ配信をしている。しかし、それぞれ異なる配信プラットフォームを提供する2つ以上のコンテンツ配信サーバ500のそれぞれによって配信者端末600、700がそれぞれの配信をしていてもよい。   The photographer terminal 900 may be arranged not only in the distribution virtual space of the distributor terminal 700 but also in the distribution virtual space of the distributor terminal 600. In the content distribution system 2, the distributor terminals 600 and 700 perform distribution using one content distribution server 500. However, the distributor terminals 600 and 700 may be distributed by two or more content distribution servers 500 that provide different distribution platforms, respectively.

<コンテンツ配信サーバの構成>
以下、コンテンツ配信サーバ500の構成を詳細に説明する。図9に示すように、コンテンツ配信サーバ500は、他の装置と通信を行う通信部110と、各種データを記憶する記憶部120と、時刻を計時する計時部130と、装置全体の制御を行う制御部540とを備える。これらの構成要素は、バスラインBLによって相互に接続される。
<Configuration of content distribution server>
Hereinafter, the configuration of the content distribution server 500 will be described in detail. As shown in FIG. 9, the content distribution server 500 controls a communication unit 110 that communicates with other devices, a storage unit 120 that stores various data, a timekeeping unit 130 that measures time, and the entire device. And a control unit 540. These components are connected to each other by a bus line BL.

制御部540は、CPU等から構成される。制御部540は、記憶部120に記憶されているプログラムを実行することにより、コンテンツ配信サーバ500の全体の動作を制御する。制御部540は、計時部130がカウントするパルス数に基づいたタイミングで各種制御を実行する。また、制御部540は、計時部130が計時する時刻に基づいて、ライブコンテンツの開始時点からの経過時間をカウントしたり、予め定められた時間(例えば配信予定時間)を経過したか否かを判別したりする。   The control unit 540 includes a CPU and the like. The control unit 540 controls the overall operation of the content distribution server 500 by executing a program stored in the storage unit 120. The control unit 540 executes various controls at a timing based on the number of pulses counted by the time measuring unit 130. Further, the control unit 540 counts the elapsed time from the start point of the live content based on the time counted by the time counting unit 130, and determines whether a predetermined time (for example, a scheduled distribution time) has elapsed. To determine.

以下、制御部540の機能的な構成を説明する。制御部540は、情報取得部541、映像生成部542、配信部543、参加受付部544、一覧情報配信部545、リンク通知部546として機能する。   Hereinafter, a functional configuration of the control unit 540 will be described. The control unit 540 functions as an information acquisition unit 541, a video generation unit 542, a distribution unit 543, a participation reception unit 544, a list information distribution unit 545, and a link notification unit 546.

情報取得部541は、通信部110を介して、配信者端末600から配信者が使用する仮想キャラクタに関する情報と配信者の動きや視線を示すモーション情報とを取得する。また、情報取得部541は、通信部110を介して、配信に参加する他の配信者(参加者)が使用する配信者端末700から参加者が使用する仮想キャラクタに関する情報と参加者の動きや視線を示すモーション情報とを取得する。情報取得部541は、通信部110を介して配信者端末600、700から音声情報を取得する。   The information acquisition unit 541 acquires information about the virtual character used by the distributor and motion information indicating the movement and line of sight of the distributor from the distributor terminal 600 via the communication unit 110. In addition, the information acquisition unit 541 via the communication unit 110, information on the virtual character used by the participant from the distributor terminal 700 used by another distributor (participant) participating in the distribution, the movement of the participant, The motion information indicating the line of sight is acquired. The information acquisition unit 541 acquires audio information from the distributor terminals 600 and 700 via the communication unit 110.

映像生成部542は、配信者及び参加者の動きをそれぞれの仮想キャラクタの動きとして合成した仮想空間内の映像を生成する。   The video generation unit 542 generates a video in the virtual space in which the movements of the distributor and the participants are combined as the movements of the respective virtual characters.

配信部543は、映像生成部542が生成した映像に基づいてライブコンテンツを配信する。生成した映像に基づくライブコンテンツとは、生成した映像データに対して各々の視点でレンダリングした映像を示す情報である。具体的には、ライブコンテンツは、生成した映像を配信者の仮想キャラクタの視点で見た場合の映像と、生成した映像を参加者の仮想キャラクタの視点で見た場合の映像と、生成した映像を配信用の仮想カメラの視点で見た場合の映像(配信画面)と、生成した映像を撮影者端末900によって制御される配信用の仮想カメラの視点で見た場合の映像(他の配信画面)を示す情報を含む。   The distribution unit 543 distributes live content based on the video generated by the video generation unit 542. The live content based on the generated video is information indicating video rendered from each viewpoint with respect to the generated video data. Specifically, the live content includes a video when the generated video is viewed from the viewpoint of the virtual character of the distributor, a video when the generated video is viewed from the viewpoint of the virtual character of the participant, and the generated video. When viewing the generated video from the viewpoint of the virtual camera for distribution (distribution screen) and video when viewing the generated video from the viewpoint of the virtual camera for distribution controlled by the photographer terminal 900 (other distribution screens) ) Is included.

映像生成部542は、配信者又は参加者の仮想キャラクタを、その配信者による配信又は参加者による他の配信で使用される仮想空間内に移動させた映像を生成し、配信部543は、その配信と他の配信とを一本化した配信の映像を、ライブコンテンツとして配信する。なお、映像生成部542及び配信部543は、一本化せずに、両方の配信を併存させて配信する構成であってもよい。   The video generation unit 542 generates a video in which the virtual character of the distributor or the participant is moved into a virtual space used for distribution by the distributor or other distribution by the participant, and the distribution unit 543 Distribute video that unifies distribution and other distributions as live content. Note that the video generation unit 542 and the distribution unit 543 may be configured to distribute both of the distributions without being unified.

なお、配信部543は、配信者端末600の配信に他の配信者が参加した場合に、視聴者端末300、800に、配信者と他の配信者の両方が映るように合成した映像を表示させてもよい。   The distribution unit 543 displays a synthesized video so that both the distributor and the other distributors are displayed on the viewer terminals 300 and 800 when another distributor participates in the distribution of the distributor terminal 600. You may let them.

映像生成部542は、他の配信者が参加者として配信者の配信に参加した場合に、配信者及び参加者の仮想キャラクタを別の仮想空間内に移動させた映像を生成し、配信部543は、その配信と他の配信とを一本化した配信の映像を、ライブコンテンツとして配信してもよい。別の仮想空間とは、配信者による配信で使用される仮想空間及び参加者による他の配信で使用される仮想空間とは異なる仮想空間である。   When another distributor participates in the distribution of the distributor as a participant, the video generation section 542 generates an image in which the distributor and the virtual character of the participant are moved into another virtual space, and the distribution section 543 May distribute a distribution video that unifies the distribution and other distributions as live content. Another virtual space is a virtual space that is different from a virtual space used for distribution by a distributor and a virtual space used for other distribution by a participant.

配信部543によって配信されるライブコンテンツは、映像を示す情報だけでなく、音声情報をも含む。配信部543は、情報取得部541が取得した音声情報と、予め記憶部120に記憶され、演出に使用される音声情報とを、ライブコンテンツとして配信する。   The live content distributed by the distribution unit 543 includes not only information indicating video but also audio information. The distribution unit 543 distributes the audio information acquired by the information acquisition unit 541 and the audio information stored in advance in the storage unit 120 and used for production as live content.

なお、仮想空間内に複数の仮想カメラが配置される場合に、配信部543は、所定条件に基づいて複数の仮想カメラによる撮影映像のいずれか一つ以上を切り替えて、それらの撮影映像をライブコンテンツとして配信してもよい。所定条件は、例えば、配信者や視聴者によって映像切替操作が実行されたこと、予め定められたタイミング(すなわちスケジュール設定上のタイミング)になったこと、仮想キャラクタの移動が生じたこと、参加者が参加したこと等のいずれか一つ以上の条件を含む。この場合、例えば、視聴者は、視聴者端末300、800において映像切替操作を行うことによって、仮想カメラの撮影者の撮影映像の配信と、参加を受け入れた配信者の配信画面と、参加者の配信画面と、配信者の配信と参加者の配信とを合成した映像の配信とをチャンネルとして選択切替できる。   When a plurality of virtual cameras are arranged in the virtual space, the distribution unit 543 switches any one or more of the video images taken by the plurality of virtual cameras based on a predetermined condition, and displays the live video images. It may be distributed as content. The predetermined conditions are, for example, that a video switching operation has been executed by a distributor or a viewer, a predetermined timing (that is, a timing on schedule setting), a movement of a virtual character, a participant, Including any one or more conditions such as participation. In this case, for example, the viewer performs a video switching operation on the viewer terminals 300 and 800, thereby distributing the video captured by the photographer of the virtual camera, the distribution screen of the distributor who accepted the participation, The distribution screen and the distribution of the video obtained by combining the distribution of the distributor and the distribution of the participant can be selected and switched as a channel.

参加受付部544は、配信者端末600から通信部110を介して、参加受付情報を取得する。参加受付部544は、参加受付情報を取得した場合に、その配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける。なお、本実施形態における他人は、配信者端末700を使用する他の配信者である。参加受付部544は、配信者が配信している間に参加希望を受け付けてもよいし、配信開始前に参加希望を受け付けてもよい。   The participation reception unit 544 acquires participation reception information from the distributor terminal 600 via the communication unit 110. When the participation reception unit 544 acquires the participation reception information, the participation reception unit 544 receives another person's participation request in the virtual space that the distributor uses for distribution. The other person in the present embodiment is another distributor who uses the distributor terminal 700. The participation receiving unit 544 may receive a request for participation while the distributor is distributing, or may receive a request for participation before starting the distribution.

参加受付部544は、参加希望する他人の情報を取得して、参加希望されている配信をしている配信者端末600に表示させる。他人の情報は、例えば、ユーザ名、仮想キャラクタ等を示す情報である。参加受付部544は、参加希望する他人の参加を許可又は拒否する操作を受け付ける画面を、参加希望されている配信をしている配信者端末600に表示させる。配信者が許可した場合、その他人は参加者として配信に参加することができる。   Participation reception part 544 acquires the information of the other person who wishes to participate, and displays it on distributor terminal 600 that is performing distribution for which participation is desired. The other person's information is information indicating a user name, a virtual character, and the like, for example. Participation reception unit 544 displays a screen for accepting an operation of permitting or refusing participation of another person who wants to participate on distributor terminal 600 that is performing distribution for which participation is desired. If the distributor permits, others can participate in the distribution as participants.

また、他人の情報は、他の配信を視聴する視聴者(視聴者端末800を使用する視聴者)と他の配信を仮想カメラで撮影している撮影者(撮影者端末900を使用する撮影者)に関する情報を含む。   The other person's information includes viewers who watch other distributions (viewers who use the viewer terminal 800) and photographers who photograph other distributions with a virtual camera (photographers who use the photographer terminal 900). ) Information.

参加受付部544は、参加希望する他人の配信を仮想カメラで撮影している撮影者(撮影者端末900を使用する撮影者)の参加を許可又は拒否する操作を受け付ける画面を配信者端末600に表示させる。撮影者の参加が許可された場合、映像生成部542は、その撮影者の仮想カメラを配信者端末600による配信の仮想空間内に移動させ、その撮影者の仮想カメラをその配信と他の配信とにおいて共有する。仮想カメラの共有の詳細な原理については後述する。   Participation acceptance unit 544 displays a screen on distributor terminal 600 that accepts an operation for permitting or rejecting participation of a photographer (photographer who uses photographer terminal 900) who is photographing the distribution of another person who wants to participate with a virtual camera. Display. When the photographer's participation is permitted, the video generation unit 542 moves the photographer's virtual camera into the virtual space of distribution by the distributor terminal 600, and distributes the photographer's virtual camera to the distribution and other distributions. Share with. The detailed principle of sharing the virtual camera will be described later.

参加が許可された配信者端末700には、参加する場合に使用する参加用URLが送信されてもよい。また、参加受付部544は、参加用URLを参加希望する他人の通信端末に送信するための操作画面を配信者端末600に表示させてもよい。この場合、配信者による参加用URLの送信操作が、配信者による参加の許可操作(後述する許可情報送信操作)の代わりにされてもよい。   A URL for participation used when participating may be transmitted to the distributor terminal 700 permitted to participate. Moreover, the participation reception part 544 may display on the distributor terminal 600 an operation screen for transmitting a participation URL to a communication terminal of another person who wants to participate. In this case, the operation for transmitting the participation URL by the distributor may be performed in place of the operation for allowing participation by the distributor (permission information transmission operation described later).

一方、撮影者の参加が拒否された場合、撮影者端末900は、仮想カメラの使用ができない状態にされ、かつ視聴者端末300、800と同じ機能のみを使用できる状態にされる。   On the other hand, when the photographer's participation is rejected, the photographer terminal 900 is made in a state where the virtual camera cannot be used and only the same functions as the viewer terminals 300 and 800 can be used.

一覧情報配信部545は、参加受付部544が配信者端末600から取得した参加受付情報に基づいて、参加希望を受け付けている配信の一覧情報を配信する。具体的には、一覧情報配信部545は、通信部110を介して、他人の通信端末に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる。本実施形態では、他人の通信端末は、他の配信をしている配信者端末700である。なお、本実施形態では、一台の配信者端末600だけが参加希望を受け付けるが、複数の配信者端末600が参加希望を受け付ける場合、配信の一覧情報は、それらの参加希望を一覧できる情報である。   The list information distribution unit 545 distributes distribution list information for which a participation request is received based on the participation reception information acquired from the distributor terminal 600 by the participation reception unit 544. Specifically, the list information distribution unit 545 causes the other person's communication terminal to display a screen showing distribution list information for which participation is accepted via the communication unit 110. In the present embodiment, the other person's communication terminal is a distributor terminal 700 that performs other distribution. In this embodiment, only one distributor terminal 600 accepts participation requests. However, when a plurality of distributor terminals 600 accept participation requests, distribution list information is information that can list those participation requests. is there.

リンク通知部546は、配信又は他の配信のいずれか一方を視聴する視聴者端末300、800に、他方の配信又は他方の配信の撮影者端末900による配信を視聴するためのリンクを表示させる。これにより、視聴者は他方の配信の存在を把握することができる。例えば、リンク通知部546は、視聴者端末300には、配信者端末700による他の配信と撮影者端末900の配信とのそれぞれのURLを通知する。リンク通知部546は、視聴者端末800には、配信者端末600による配信のURLを通知する。   The link notification unit 546 causes the viewer terminals 300 and 800 that view either one of the distribution or the other distribution to display a link for viewing the distribution by the photographer terminal 900 of the other distribution or the other distribution. Thereby, the viewer can grasp the existence of the other distribution. For example, the link notification unit 546 notifies the viewer terminal 300 of the URLs of other distributions by the distributor terminal 700 and the distribution of the photographer terminal 900. The link notification unit 546 notifies the viewer terminal 800 of the URL for distribution by the distributor terminal 600.

<配信者端末の構成>
以下、配信者端末600の構成を詳細に説明する。なお、配信者端末700の構成は、配信者端末600の構成と同じである。
<Configuration of distributor terminal>
Hereinafter, the configuration of distributor terminal 600 will be described in detail. The configuration of distributor terminal 700 is the same as that of distributor terminal 600.

図10に示すように、配信者端末600は、他の装置と通信を行う通信部210と、ユーザの操作を受け付ける操作部220と、各種データを記憶する記憶部230と、各種画像を表示する表示部240と、音声入力を受け付ける音声入力部250と、モーション情報を入力するための動作入力部260と、各種音声を出力する音声出力部270と、装置全体の制御を行う制御部680とを備える。これらの構成要素は、バスラインBLによって相互に接続される。   As shown in FIG. 10, the distributor terminal 600 displays a communication unit 210 that communicates with other devices, an operation unit 220 that receives user operations, a storage unit 230 that stores various data, and various images. A display unit 240, a voice input unit 250 that receives voice input, an operation input unit 260 for inputting motion information, a voice output unit 270 that outputs various voices, and a control unit 680 that controls the entire apparatus. Prepare. These components are connected to each other by a bus line BL.

制御部680は、CPU等から構成される。制御部680は、記憶部230に記憶されているプログラムを実行することにより、配信者端末600の全体の動作を制御する。   The control unit 680 is composed of a CPU and the like. The control unit 680 controls the overall operation of the distributor terminal 600 by executing a program stored in the storage unit 230.

以下、制御部680の機能的な構成を説明する。制御部280は、コンテンツ取得部281、表示制御部282、音声出力制御部283、入力情報送信部284、参加受付情報送信部285、許可情報送信部286、参加希望情報送信部687として機能する。   Hereinafter, a functional configuration of the control unit 680 will be described. The control unit 280 functions as a content acquisition unit 281, display control unit 282, audio output control unit 283, input information transmission unit 284, participation acceptance information transmission unit 285, permission information transmission unit 286, and participation request information transmission unit 687.

参加希望情報送信部687は、通信部210を介して、参加希望を示す参加希望情報をコンテンツ配信サーバ500に送信する。具体的には、参加希望情報送信部687は、参加希望を受け付けている配信の一覧情報を示す画面に対して、ユーザが参加希望した場合に、その参加希望情報を送信する。   The participation request information transmission unit 687 transmits the participation request information indicating the participation request to the content distribution server 500 via the communication unit 210. Specifically, the participation request information transmission unit 687 transmits the participation request information when the user desires to participate in the screen showing the distribution list information for which the participation request is accepted.

なお、本実施形態に係る配信者端末600、700は、ユーザが配信に使用する仮想空間内への他のユーザの参加を受け付けるための構成と、他のユーザの配信に使用される仮想空間内に参加するための構成とを備えている。しかし、配信者端末600、700は、このような構成に限られない。例えば、配信者端末600、700のいずれか一方(例えば配信者端末600)が、配信に使用される仮想空間内への参加を受け付けるための構成を備え、他方(例えば配信者端末700)が、他の配信者の配信に使用される仮想空間内に参加するための構成を備えていればよい。   Note that the distributor terminals 600 and 700 according to the present embodiment have a configuration for accepting the participation of other users in the virtual space used by the user for distribution, and a virtual space used for the distribution of other users. And a configuration for participating in. However, the distributor terminals 600 and 700 are not limited to such a configuration. For example, one of the distributor terminals 600 and 700 (for example, the distributor terminal 600) has a configuration for accepting participation in a virtual space used for distribution, and the other (for example, the distributor terminal 700) What is necessary is just to have the structure for participating in the virtual space used for the delivery of another distributor.

<配信画面と撮影画面の具体例>
以下、配信されるライブコンテンツを示す情報に基づいて表示される配信画面と撮影者による仮想カメラの撮影画面の具体例を説明する。
<Specific examples of distribution screen and shooting screen>
Hereinafter, specific examples of a distribution screen displayed based on information indicating live content to be distributed and a shooting screen of a virtual camera by a photographer will be described.

図11は、視聴者端末300又は視聴者端末800に表示される配信画面の一例を示している。図11(A)は、他の配信者が参加する前の配信者による配信画面を示している。換言すると、図11(A)は、配信者端末600による配信を視聴する視聴者端末300に表示される配信画面である。   FIG. 11 shows an example of a distribution screen displayed on the viewer terminal 300 or the viewer terminal 800. FIG. 11A shows a distribution screen by a distributor before another distributor participates. In other words, FIG. 11A is a distribution screen displayed on the viewer terminal 300 viewing the distribution by the distributor terminal 600.

図11(B)は、他の配信者が参加する前の他の配信者による配信画面を示している。換言すると、図11(B)は、配信者端末700による配信を視聴する視聴者端末800に表示される配信画面である。   FIG. 11B shows a distribution screen by another distributor before another distributor participates. In other words, FIG. 11B is a distribution screen displayed on the viewer terminal 800 that views the distribution by the distributor terminal 700.

図11(C)は他の配信者が参加した後の配信画面を示している。換言すると、図11(C)は、配信者端末600、700による配信を視聴する視聴者端末300、800に表示される配信画面である。この例では、配信者端末700を使用する他の配信者Bが配信者端末600を使用する配信者Aの配信に参加して、配信者Bと配信者Aの配信が統合される場合を説明する。   FIG. 11C shows a distribution screen after other distributors participate. In other words, FIG. 11C is a distribution screen displayed on the viewer terminals 300 and 800 for viewing the distribution by the distributor terminals 600 and 700. In this example, another distributor B using the distributor terminal 700 participates in the distribution of the distributor A using the distributor terminal 600, and the distribution of the distributor B and the distributor A is integrated. To do.

図11(A)、図11(B)、図11(C)の領域A3には、仮想空間内の映像において、仮想カメラ(不図示)の視点でレンダリングされた画像が動画として表示される。領域A4には、視聴者が投稿するコメント入力欄が表示され、その右には、投稿実行ボタンB1が表示される。   In the area A3 of FIGS. 11A, 11B, and 11C, an image rendered from the viewpoint of a virtual camera (not shown) is displayed as a moving image in the video in the virtual space. In the area A4, a comment input field for posting by the viewer is displayed, and a posting execution button B1 is displayed on the right side thereof.

図11(A)において、領域A3に示す映像では、配信者Aを示す仮想キャラクタ40が表示されている。配信者Aは、配信者端末600を使用して配信している配信者である。なお、この映像には、仮想物体であるテーブルを示すオブジェクト20も表示されている。   In FIG. 11A, the virtual character 40 indicating the distributor A is displayed in the video shown in the area A3. Distributor A is a distributor who distributes using distributor terminal 600. In this video, an object 20 indicating a table which is a virtual object is also displayed.

図11(B)において、領域A3に示す映像では、配信者Bを示す仮想キャラクタ50が表示されている。配信者Bは、配信者端末700を使用して配信している配信者である。なお、この映像には、仮想カメラを示すオブジェクト60も表示されている。この仮想カメラを示すオブジェクト60は、撮影者端末900によって制御される仮想カメラである。   In FIG. 11B, the virtual character 50 indicating the distributor B is displayed in the video shown in the area A3. Distributor B is a distributor who distributes using distributor terminal 700. In this video, an object 60 indicating a virtual camera is also displayed. The object 60 indicating the virtual camera is a virtual camera controlled by the photographer terminal 900.

ここで、配信者端末700を使用する配信者Bの参加を配信者Aが許可した場合、その配信者端末700は、配信者Bが使用する仮想キャラクタを示す情報と配信者Bのモーション情報をコンテンツ配信サーバ500に送信する。また、撮影者端末900を使用して、配信者Bによる配信を仮想カメラ(仮想カメラを示すオブジェクト60)によって撮影している撮影者の参加を配信者Aが許可した場合、仮想カメラを示すオブジェクト60も配信者Aが配信している仮想空間内に移動する。   Here, when the distributor A permits the distributor B who uses the distributor terminal 700 to participate, the distributor terminal 700 receives information indicating the virtual character used by the distributor B and motion information of the distributor B. It transmits to the content distribution server 500. In addition, when the distributor A permits participation of a photographer who has photographed the distribution by the distributor B using the virtual camera (the object 60 indicating the virtual camera) using the photographer terminal 900, the object indicating the virtual camera 60 also moves into the virtual space distributed by the distributor A.

この結果、図11(C)に示すように、配信者Aを示す仮想キャラクタ40と、配信者Bを示す仮想キャラクタ50と、仮想カメラを示すオブジェクト60とが領域A3に表示され、配信画面に映り込む状態となる。なお、図11(C)では、配信者Bの仮想キャラクタ50及び仮想カメラを示すオブジェクト60は、配信者Aが配信に使用している仮想空間内に入り込んでいる。しかし、仮想キャラクタ50及び仮想カメラを示すオブジェクト60は、仮想カメラ(不図示)の撮影領域に入っていなければ、配信画面の領域A3には映らない。   As a result, as shown in FIG. 11C, the virtual character 40 indicating the distributor A, the virtual character 50 indicating the distributor B, and the object 60 indicating the virtual camera are displayed in the area A3 and displayed on the distribution screen. It will be reflected. In FIG. 11C, the virtual character 50 of the distributor B and the object 60 indicating the virtual camera enter the virtual space used by the distributor A for distribution. However, the virtual character 50 and the object 60 indicating the virtual camera are not reflected in the area A3 of the distribution screen unless they are in the shooting area of the virtual camera (not shown).

コンテンツ配信サーバ500の配信部543は、視聴者端末300、800に、参加者である配信者Bと配信者Aを区別可能に表示させる。例えば、図11(C)の配信画面の領域A3において、配信者Aの仮想キャラクタ40の上方には、ユーザ名を示す「配信者A」の文字列が表示される。配信者Bの仮想キャラクタ50の上方には、ユーザ名を示す「配信者B」の文字列が表示される。   The distribution unit 543 of the content distribution server 500 causes the viewer terminals 300 and 800 to display the distributor B and the distributor A, which are participants, in a distinguishable manner. For example, in the area A3 of the distribution screen of FIG. 11C, a character string “distributor A” indicating the user name is displayed above the virtual character 40 of the distributor A. A character string “distributor B” indicating the user name is displayed above the virtual character 50 of the distributor B.

図11(A)、図11(B)では、このような文字列が表示されていない。すなわち、複数の配信者が仮想空間を共有する場合のみ、このような文字列が表示されている。しかし、配信部543は、図11(A)、図11(B)のように、1人の配信者が単独で仮想空間を使用している場合においても文字列を表示させるように構成されてもよい。   In FIG. 11A and FIG. 11B, such a character string is not displayed. That is, such a character string is displayed only when a plurality of distributors share the virtual space. However, the distribution unit 543 is configured to display a character string even when one distributor uses a virtual space independently as shown in FIGS. 11A and 11B. Also good.

なお、配信者端末600、700には、図11に示す配信画面ではなく、それぞれの仮想キャラクタ(すなわち仮想キャラクタ40又は仮想キャラクタ50)の視点でレンダリングされた仮想空間内の映像が表示される。   The distributor terminals 600 and 700 display the video in the virtual space rendered from the viewpoint of each virtual character (that is, the virtual character 40 or the virtual character 50) instead of the distribution screen shown in FIG.

図12は、仮想カメラ(仮想カメラを示すオブジェクト60)による撮影画面の一例を示す図である。図12(A)は他の配信者が参加する前の撮影画面を示している。すなわち、図12(A)は、図11(B)に示す配信画面に対応し、配信者Bが配信している仮想空間内において、仮想カメラを示すオブジェクト60の視点で撮影した撮影画面を示している。この撮影画面は、例えば、配信者Aと配信者Bによる2つの配信とは別のチャンネルの配信に使用される。   FIG. 12 is a diagram illustrating an example of a shooting screen by a virtual camera (object 60 indicating a virtual camera). FIG. 12A shows a shooting screen before another distributor participates. That is, FIG. 12 (A) corresponds to the distribution screen shown in FIG. 11 (B), and shows a shooting screen shot from the viewpoint of the object 60 indicating the virtual camera in the virtual space distributed by the distributor B. ing. This shooting screen is used, for example, for distribution on a channel different from the two distributions by distributor A and distributor B.

図12(B)は他の配信者が参加した後の撮影画面を示している。すなわち、図12(B)は、図11(C)に示す配信画面に対応し、配信者Aが配信している仮想空間内に移動した後の仮想カメラを示すオブジェクト60の視点で撮影した撮影画面を示している。図12(A)に示す撮影画面とは異なり、図12(B)に示す撮影画面には、配信者Aを示す仮想キャラクタ40とテーブルを示すオブジェクト20が映り込んでいる。   FIG. 12B shows a shooting screen after other distributors participate. That is, FIG. 12B corresponds to the distribution screen shown in FIG. 11C and is taken from the viewpoint of the object 60 indicating the virtual camera after moving in the virtual space distributed by the distributor A. The screen is shown. Unlike the shooting screen shown in FIG. 12A, the virtual character 40 indicating the distributor A and the object 20 indicating the table are reflected in the shooting screen shown in FIG.

<処理の流れ>
以下、図13を参照しながら、コンテンツ配信サーバ500が実行する制御処理の一例を説明する。この処理は、コンテンツ配信サーバ500が配信者端末600から参加受付情報を取得している場合に実行される。
<Process flow>
Hereinafter, an example of a control process executed by the content distribution server 500 will be described with reference to FIG. This process is executed when the content distribution server 500 acquires participation acceptance information from the distributor terminal 600.

まず、制御部540の一覧情報配信部545は、配信者端末600から取得した参加受付情報に基づいて、他の配信者端末700に、参加希望を受け付けている配信の一覧情報を示す画面を表示させる(ステップS201)。   First, the list information distribution unit 545 of the control unit 540 displays, on the other distributor terminal 700, a screen showing the list information of distributions that are accepted for participation based on the participation reception information acquired from the distributor terminal 600. (Step S201).

制御部540の参加受付部544は、配信者が配信に使用する仮想空間内への他の配信者の参加希望を受け付ける(ステップS202)。具体的には、参加受付部544は、他の配信者端末700の参加希望情報送信部687から送信される参加希望情報を、通信部110を介して取得する。   The participation reception unit 544 of the control unit 540 receives a request for participation of another distributor in the virtual space used by the distributor for distribution (step S202). Specifically, the participation reception unit 544 acquires the participation request information transmitted from the participation request information transmission unit 687 of the other distributor terminal 700 via the communication unit 110.

制御部540の参加受付部544は、参加希望する他人(すなわち他の配信者)及び他人の配信を撮影している撮影者の情報を取得して、その参加希望されている配信をしている配信者端末600に表示させる(ステップS203)。また、参加受付部544は、参加希望する他人及び撮影者の参加を許可又は拒否する操作を受け付ける画面をその配信者端末600に表示させ、参加の許可又は拒否を受け付ける(ステップS204)。   The participation reception unit 544 of the control unit 540 acquires information on the other person who wants to participate (that is, another distributor) and the photographer shooting the distribution of the other person, and distributes the participation desired. It is displayed on the distributor terminal 600 (step S203). Further, the participation reception unit 544 displays a screen for accepting or rejecting an operation for permitting or rejecting the participation of another person who wants to participate and the photographer on the distributor terminal 600, and accepts permission or rejection of participation (step S204).

ここで、制御部540は、配信者が他の配信者の参加を許可したか否かを判別する(ステップS205)。具体的には、制御部540は、配信者端末600の許可情報送信部286から取得した許可情報に基づいて配信者が参加を許可したか否かを判別する。   Here, the control unit 540 determines whether or not the distributor has permitted the participation of another distributor (step S205). Specifically, control unit 540 determines whether or not the distributor has permitted participation based on the permission information acquired from permission information transmitting unit 286 of distributor terminal 600.

他の配信者の参加が拒否された場合(ステップS205;N)、制御部540の情報取得部541は、配信している配信者端末600から配信者の各種情報を取得する(ステップS207)。すなわち、コンテンツ配信サーバ500は、参加者がいない場合には、配信者の仮想キャラクタの情報とモーション情報のみを取得して、以降のステップS208、S209の処理を行う。   When the participation of another distributor is rejected (step S205; N), the information acquisition unit 541 of the control unit 540 acquires various information of the distributor from the distributor terminal 600 that is distributing (step S207). That is, when there is no participant, the content distribution server 500 acquires only the virtual character information and motion information of the distributor, and performs the subsequent steps S208 and S209.

一方、他の配信者の参加が許可された場合(ステップS205;Y)、制御部540の情報取得部541は、配信している配信者端末600から配信者の各種情報と、その配信に参加する他の配信者の各種情報とを取得する(ステップS206)。すなわち、コンテンツ配信サーバ500は、配信者及び参加者のそれぞれの仮想キャラクタの情報とモーション情報を取得して、後述するステップS211、S212の処理を行う。   On the other hand, when the participation of another distributor is permitted (step S205; Y), the information acquisition unit 541 of the control unit 540 participates in the distribution of various information of the distributor from the distributor terminal 600 that distributes the information. Various information of other distributors to be acquired is acquired (step S206). That is, the content distribution server 500 acquires the virtual character information and motion information of each distributor and participant, and performs the processes of steps S211 and S212 described later.

制御部540は、配信者が他の配信の仮想空間内で撮影を行っている撮影者の参加を許可したか否かを判別する(ステップS208)。具体的には、制御部540は、配信者端末600の許可情報送信部286から取得した許可情報に基づいて配信者が参加を許可したか否かを判別する。   The control unit 540 determines whether or not the distributor has permitted the participation of the photographer who is photographing in the virtual space of another distribution (step S208). Specifically, control unit 540 determines whether or not the distributor has permitted participation based on the permission information acquired from permission information transmitting unit 286 of distributor terminal 600.

撮影者の参加が拒否された場合(ステップS208;N)、制御部540は、配信状態を制御して、撮影者端末900を、仮想カメラの使用ができない状態で、かつ視聴者端末300、800と同じ機能のみを使用できる状態にする(ステップS210)。   When the photographer's participation is rejected (step S208; N), the control unit 540 controls the distribution state so that the photographer terminal 900 cannot be used by the virtual camera and the viewer terminals 300 and 800. Only the same function can be used (step S210).

一方、撮影者の参加が許可された場合(ステップS208;Y)、制御部540の情報取得部541は、撮影者端末900を使用している撮影者の仮想カメラの情報を取得する(ステップS209)。コンテンツ配信サーバ500は、取得した仮想カメラの情報を配信者端末600による配信に使用されている仮想空間に反映させる。これにより、撮影者の仮想カメラを使用した撮影は、移動先の仮想空間で継続することが可能となる。   On the other hand, when the photographer's participation is permitted (step S208; Y), the information acquisition unit 541 of the control unit 540 acquires information on the virtual camera of the photographer who is using the photographer terminal 900 (step S209). ). The content distribution server 500 reflects the acquired virtual camera information in the virtual space used for distribution by the distributor terminal 600. As a result, the shooting using the photographer's virtual camera can be continued in the destination virtual space.

制御部540の映像生成部542は、情報取得部541が取得したモーション情報を仮想キャラクタの動きとして合成した仮想空間内の映像を生成する(ステップS211)。また、撮影者の参加が許可されている場合、映像生成部542は、撮影者の仮想カメラを配信の仮想空間内に移動させ、撮影者の仮想カメラはその配信と他の配信とにおいて共有される。   The video generation unit 542 of the control unit 540 generates a video in the virtual space obtained by combining the motion information acquired by the information acquisition unit 541 as the motion of the virtual character (step S211). When the photographer's participation is permitted, the video generation unit 542 moves the photographer's virtual camera into the distribution virtual space, and the photographer's virtual camera is shared between the distribution and other distributions. The

制御部540の配信部543は、映像生成部542が生成した映像に基づいてライブコンテンツを配信する(ステップS212)。例えば、配信者端末600には、配信者の仮想キャラクタの視点の映像が表示され、配信に参加する他の配信者端末700には、その視聴者の仮想キャラクタの視点の映像が表示される。配信に参加しない視聴者の視聴者端末300、800には、配信画面が表示される。参加を許可された撮影者端末900には、移動先の仮想空間における仮想カメラの撮影映像が表示され、その撮影映像も他の配信において使用される。なお、他の配信者の仮想キャラクタや仮想カメラの移動が生じた場合には、制御部540のリンク通知部546は、他方の配信又は他方の配信の撮影者端末900による配信を視聴するためのリンクを視聴者端末300、800に表示させてもよいし、移動先の配信を視聴するためのリンクを視聴者端末300、800に通知してもよい。   The distribution unit 543 of the control unit 540 distributes live content based on the video generated by the video generation unit 542 (step S212). For example, the video of the viewpoint of the virtual character of the distributor is displayed on the distributor terminal 600, and the video of the viewpoint of the virtual character of the viewer is displayed on the other distributor terminal 700 participating in the distribution. A distribution screen is displayed on the viewer terminals 300 and 800 of viewers who do not participate in distribution. The photographer terminal 900 permitted to participate displays a photographed video of the virtual camera in the destination virtual space, and the photographed video is also used in other distributions. When a virtual character or a virtual camera of another distributor has moved, the link notification unit 546 of the control unit 540 is for viewing the distribution by the photographer terminal 900 of the other distribution or the other distribution. The link may be displayed on the viewer terminals 300 and 800, or the link for viewing the destination distribution may be notified to the viewer terminals 300 and 800.

以上、コンテンツ配信サーバ500が実行する制御処理の一例を説明した。なお、処理の流れは、このような流れに限られない。   Heretofore, an example of the control process executed by the content distribution server 500 has been described. Note that the flow of processing is not limited to such a flow.

例えば、配信者が配信している間に参加を受け付ける場合には、ステップS201より前にステップS207、S211、S212のように、配信者だけで配信する処理が実行されてもよい。配信者の参加の許可の意思決定を反映するための処理であるステップS204に代えて、先着順の所定数の参加希望者を自動的に参加させる処理が実行されてもよい。   For example, when accepting participation while the distributor is distributing, a process of distributing only by the distributor as in steps S207, S211 and S212 may be executed before step S201. Instead of step S204, which is a process for reflecting the decision to permit the distributor to participate, a process for automatically participating a predetermined number of applicants in the order of arrival may be executed.

<効果の説明>
本実施形態に係るコンテンツ配信システム2において、コンテンツ配信サーバ500は、ネットワークを介して、他の配信者から配信への参加希望を受け付ける。この場合、配信者と他の配信者は、現実空間において離れた場所にいる場合であっても、それぞれの仮想キャラクタとして仮想空間を共有して配信を行うことができる。また、コンテンツ配信システム2によれば、単なる映像の合成という観点ではなく、複数の配信番組の合成、収録スタジオとなる仮想空間に他の配信者が出入りすること、収録スタジオとなる仮想空間から他の収録スタジオとなる仮想空間への移動等を可能にすることもできる。したがって、本実施形態に係るコンテンツ配信システム2によれば、仮想空間を共有する形態としての利便性を向上させることができる。
<Description of effects>
In the content distribution system 2 according to the present embodiment, the content distribution server 500 receives a request for participation in distribution from another distributor via the network. In this case, the distributor and the other distributor can share the virtual space as the respective virtual characters and perform distribution even when the distributor is in a location away from the real space. Moreover, according to the content distribution system 2, it is not a mere composition of video, but the composition of a plurality of distribution programs, the entry / exit of other distributors in the virtual space that becomes the recording studio, and the other from the virtual space that becomes the recording studio. It is also possible to move to a virtual space that becomes a recording studio. Therefore, according to the content delivery system 2 which concerns on this embodiment, the convenience as a form which shares a virtual space can be improved.

以上で実施形態の説明を終了するが、上記実施形態は一例に過ぎない。そのため、コンテンツ配信システム1、2の具体的な構成、処理の内容等は上記実施形態で説明したものに限られない。以下、上記実施形態の変形例について説明する。なお、実施形態に係るコンテンツ配信システム1、2と共通する構成要素については同一の符号を付して説明する。   This is the end of the description of the embodiment. However, the above embodiment is merely an example. Therefore, the specific configuration of the content distribution systems 1 and 2, the details of processing, and the like are not limited to those described in the above embodiment. Hereinafter, modifications of the embodiment will be described. In addition, the same code | symbol is attached | subjected and demonstrated about the component which is common in the content delivery systems 1 and 2 which concern on embodiment.

(変形例)
コンテンツ配信サーバ100、500が実行する制御処理の順序は、図7、図13に示す例に限られない。また、コンテンツ配信サーバ100、500が実行する制御処理の内容は、図7、図13に示す例に限られず、一部の処理が省略されてもよい。
(Modification)
The order of the control processing executed by the content distribution servers 100 and 500 is not limited to the examples shown in FIGS. Further, the contents of the control processing executed by the content distribution servers 100 and 500 are not limited to the examples shown in FIGS. 7 and 13, and some of the processing may be omitted.

上記実施形態では、参加受付状況に応じて、コンテンツ配信サーバ100、500が配信するコンテンツの内容に変形を加えている。すなわち、配信段階でコンテンツの内容に変形を加えている。しかし、配信されるコンテンツの内容はすべて同じであってもよく、受信側で映像を表示させる段階でコンテンツに表示制御を実行してもよい。例えば、視聴者端末300、800等がプログラムを実行してコンテンツを表示する際に、参加受付状況に応じて表示制御を実行してもよい。例えば、視聴者端末300、800が、配信者による参加許可情報を受信して、それに応じた動作を行うことによって、このような変形が実現可能である。   In the above embodiment, the contents distributed by the content distribution servers 100 and 500 are modified according to the participation acceptance status. That is, the contents are modified at the distribution stage. However, the contents to be distributed may all be the same, and display control may be executed on the contents at the stage of displaying the video on the receiving side. For example, when the viewer terminals 300, 800, etc. execute the program to display the content, the display control may be executed according to the participation acceptance status. For example, such modification can be realized by the viewer terminals 300 and 800 receiving the participation permission information by the distributor and performing an operation corresponding thereto.

第2実施形態では、参加を受け付ける配信と参加する他の配信とが1対1の例を説明した。しかし、コンテンツ配信システム2の構成は、このような参加方法に限られない。例えば、ある配信者端末の仮想キャラクタが他の複数の配信者端末による配信の仮想空間に一斉に参加してもよい。ある配信者端末の配信に使用されている仮想空間に他の複数の配信者の仮想キャラクタが参加してもよい。また、コンテンツ配信システム2は、参加を受け付ける配信と参加する他の配信とが複数対複数であっても実現可能な構成であってもよい。すなわち、複数の配信番組が統合されてもよい。   In 2nd Embodiment, the delivery which receives participation and the other delivery which participates demonstrated the example of 1: 1. However, the configuration of the content distribution system 2 is not limited to such a participation method. For example, a virtual character of a certain distributor terminal may participate in a virtual space for distribution by a plurality of other distributor terminals all at once. Virtual characters of other plural distributors may participate in a virtual space used for distribution by a certain distributor terminal. Further, the content distribution system 2 may have a configuration that can be realized even when the distribution for accepting participation and the other distributions for participation are plural. That is, a plurality of distribution programs may be integrated.

第2実施形態では、移動元の参加者(他の配信者)が配信している配信画面は、移動先に統合される例を説明した。しかし、移動元の参加者が配信している配信画面が参加によって変化せず、コンテンツ配信サーバ500の配信部543は、他の配信者の仮想キャラクタのみが表示された状態でその配信を継続するように構成されてもよい。また、視聴者端末300、800には、移動先のリンクが通知されるのではなく、統合後の配信画面が自動的に表示されるように表示制御されてもよい。   In 2nd Embodiment, the delivery screen which the participant (other distributors) of the movement origin distributes demonstrated the example integrated into a movement destination. However, the distribution screen distributed by the transfer source participant does not change by participation, and the distribution unit 543 of the content distribution server 500 continues the distribution in a state where only the virtual characters of the other distributors are displayed. It may be configured as follows. In addition, the viewer terminals 300 and 800 may not be notified of the destination link, but may be controlled so that the integrated distribution screen is automatically displayed.

上記実施形態では、コンテンツ配信サーバ100、500は、参加受付部144、544を備え、参加希望に基づく参加を受け付けるだけである。しかし、コンテンツ配信サーバ100、500は、参加者(すなわち視聴者又は他の配信者)が参加した後に、その退出を受け付ける退出受付部をさらに備えていてもよい。退出は、例えば、参加を許可した配信者が参加者を追い出す指示をコンテンツ配信サーバ100、500に送信することによって実現されてもよい。また、退出は、参加者がコンテンツ配信サーバ100、500に退出希望情報を送信することによって実現されてもよい。このような構成によれば、参加者は、配信者が配信に使用している仮想空間を出入りすることが可能となる。   In the above embodiment, the content distribution servers 100 and 500 include the participation reception units 144 and 544, and only accept participation based on the participation request. However, the content distribution servers 100 and 500 may further include an exit reception unit that receives an exit after a participant (that is, a viewer or another distributor) participates. The exit may be realized, for example, by transmitting to the content distribution servers 100 and 500 an instruction for a distributor who has permitted participation to expel the participant. Further, the exit may be realized by the participant transmitting the exit request information to the content distribution servers 100 and 500. According to such a configuration, the participant can enter and exit the virtual space used by the distributor for distribution.

コンテンツ配信サーバ100、500は、参加希望に基づく参加を受け付ける構成に限られない。例えば、コンテンツ配信サーバ100、500は、配信者による招待を受け付ける構成であってもよい。例えば、配信者端末200、600を使用する配信者が視聴者又は他の配信者を招待するための招待情報をコンテンツ配信サーバ100、500に送信し、コンテンツ配信サーバ100、500は、その招待を受ける視聴者又は配信者が使用する通信端末に通知してもよい。これにより、招待に応じた参加を実現することが可能となる。   The content distribution servers 100 and 500 are not limited to the configuration that accepts participation based on the participation request. For example, the content distribution servers 100 and 500 may be configured to accept an invitation from a distributor. For example, a distributor using the distributor terminals 200 and 600 transmits invitation information for inviting viewers or other distributors to the content distribution servers 100 and 500, and the content distribution servers 100 and 500 receive the invitation. You may notify to the communication terminal which the viewer or distributor who receives receives. This makes it possible to realize participation according to the invitation.

上記実施形態に係るコンテンツ配信システム1、2では、配信者端末200、600、700、視聴者端末300、800と撮影者端末900とを異なる構成とし、それぞれを区別可能にしている。しかし、これらの各装置の構成要素を組み合わせて、これらのいずれか2つ以上の機能を有する構成としてもよい。   In the content distribution systems 1 and 2 according to the above embodiment, the distributor terminals 200, 600, and 700, the viewer terminals 300 and 800, and the photographer terminal 900 are configured differently so that they can be distinguished from each other. However, the constituent elements of these devices may be combined to have any two or more functions.

また、本開示に係るコンテンツ配信システムは、上記装置によらず、例えば、コンピュータがプログラムを実行することで、その機能を実現してもよい。コンテンツ配信システム1の機能を実現するためのプログラムは、USB(Universal Serial Bus)メモリ、CD−ROM(Compact Disc−Read Only Memory)、DVD(Digital Versatile Disc)、HDD(Hard Disc Drive)等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。   In addition, the content distribution system according to the present disclosure may realize the function by, for example, a computer executing a program without depending on the above-described device. Programs for realizing the functions of the content distribution system 1 are computers such as USB (Universal Serial Bus) memory, CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), HDD (Hard Disc Drive), etc. It may be stored in a readable recording medium or downloaded to a computer via a network.

以上、本開示の好ましい実施形態について説明したが、本開示は係る特定の実施形態に限定されるものではなく、本開示には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。また、上記実施形態及び変形例で説明した装置の構成は、技術的な矛盾が生じない限り、適宜組み合わせ可能である。   The preferred embodiments of the present disclosure have been described above. However, the present disclosure is not limited to the specific embodiments, and the present disclosure includes the invention described in the claims and an equivalent scope thereof. It is. In addition, the configurations of the devices described in the above embodiments and modifications can be combined as appropriate as long as there is no technical contradiction.

1,2…コンテンツ配信システム、100,500…コンテンツ配信サーバ、200,600,700…配信者端末、300,400,800…視聴者端末、900…撮影者端末


1, 2, ... Content distribution system, 100, 500 ... Content distribution server, 200, 600, 700 ... Distributor terminal, 300, 400, 800 ... Viewer terminal, 900 ... Photographer terminal


Claims (18)

配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部と、
前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部と、
前記情報取得部が取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像を生成する映像生成部と、
前記映像生成部が生成した映像に基づいてライブコンテンツを配信する配信部と、
を備え
前記参加者は、前記配信を視聴する視聴者又は該配信とは異なる他の配信を行う他の配信者であり、
前記参加者が前記他の配信をしている前記他の配信者である場合、前記配信部は、前記視聴者の通信端末に、前記配信者と前記他の配信者の両方が映るように合成した映像を表示させる、
ことを特徴とするコンテンツ配信サーバ。
Participation acceptance unit that accepts other people's participation in the virtual space that the distributor uses for distribution,
An information acquisition unit for acquiring motion information indicating each movement of the distributor and the participant participating based on the participation request and information of each virtual character;
A video generation unit that generates a video in the virtual space in which the motion information acquired by the information acquisition unit is combined as a movement of the virtual character;
A distribution unit that distributes live content based on the video generated by the video generation unit;
Equipped with a,
The participant is a viewer who views the distribution or another distributor who performs another distribution different from the distribution,
When the participant is the other distributor who is performing the other distribution, the distribution unit combines the viewer and the other distributor so that both the distributor and the other distributor are displayed on the viewer's communication terminal. Displayed video,
A content distribution server characterized by the above.
配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部と、
前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部と、
前記情報取得部が取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像を生成する映像生成部と、
前記映像生成部が生成した映像に基づいてライブコンテンツを配信する配信部と、
を備え
前記参加受付部は、前記参加希望する他人の配信を仮想カメラで撮影している撮影者の参加を許可又は拒否する操作を受け付ける画面を、前記配信者の通信端末に表示させる、
ことを特徴とするコンテンツ配信サーバ。
Participation acceptance unit that accepts other people's participation in the virtual space that the distributor uses for distribution,
An information acquisition unit for acquiring motion information indicating each movement of the distributor and the participant participating based on the participation request and information of each virtual character;
A video generation unit that generates a video in the virtual space in which the motion information acquired by the information acquisition unit is combined as a movement of the virtual character;
A distribution unit that distributes live content based on the video generated by the video generation unit;
Equipped with a,
The participation reception unit displays on the communication terminal of the distributor a screen for accepting or rejecting an operation of permitting or rejecting the participation of a photographer who is photographing the distribution of another person who wants to participate in the virtual camera;
A content distribution server characterized by the above.
配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部と、
前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部と、
前記情報取得部が取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像を生成する映像生成部と、
前記映像生成部が生成した映像に基づいてライブコンテンツを配信する配信部と、
を備え
前記映像生成部は、前記参加者が前記配信とは異なる他の配信を行う他の配信者である場合に、前記配信者及び前記参加者の前記仮想キャラクタを別の前記仮想空間内に移動させた映像を生成し、
前記配信部は、前記配信と前記他の配信とを一本化した配信の映像を、前記ライブコンテンツとして配信する、
ことを特徴とするコンテンツ配信サーバ。
Participation acceptance unit that accepts other people's participation in the virtual space that the distributor uses for distribution,
An information acquisition unit for acquiring motion information indicating each movement of the distributor and the participant participating based on the participation request and information of each virtual character;
A video generation unit that generates a video in the virtual space in which the motion information acquired by the information acquisition unit is combined as a movement of the virtual character;
A distribution unit that distributes live content based on the video generated by the video generation unit;
Equipped with a,
The video generation unit moves the virtual character of the distributor and the participant into another virtual space when the participant is another distributor who performs another distribution different from the distribution. Generated video,
The distribution unit distributes a distribution video that unifies the distribution and the other distribution as the live content.
A content distribution server characterized by the above.
配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付部と、
前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得部と、
前記情報取得部が取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像を生成する映像生成部と、
前記映像生成部が生成した映像に基づいてライブコンテンツを配信する配信部と、
を備え
前記映像生成部は、前記参加者が前記配信とは異なる他の配信を行う他の配信者である場合に、前記配信者又は前記参加者の前記仮想キャラクタを前記配信または前記他の配信で使用される前記仮想空間内に移動させた映像を生成し、
前記配信部は、前記配信と前記他の配信とを一本化した配信の映像を、前記ライブコンテンツとして配信する、
ことを特徴とするコンテンツ配信サーバ。
Participation acceptance unit that accepts other people's participation in the virtual space that the distributor uses for distribution,
An information acquisition unit for acquiring motion information indicating each movement of the distributor and the participant participating based on the participation request and information of each virtual character;
A video generation unit that generates a video in the virtual space in which the motion information acquired by the information acquisition unit is combined as a movement of the virtual character;
A distribution unit that distributes live content based on the video generated by the video generation unit;
Equipped with a,
The video generation unit uses the virtual character of the distributor or the participant in the distribution or the other distribution when the participant is another distributor who performs another distribution different from the distribution. A video that is moved into the virtual space to be generated,
The distribution unit distributes a distribution video that unifies the distribution and the other distribution as the live content.
A content distribution server characterized by the above.
前記参加受付部は、前記参加希望する他人の情報を取得して、前記配信者の通信端末に表示させる、
ことを特徴とする請求項1又は3に記載のコンテンツ配信サーバ。
The participation reception unit acquires information on the other person who wants to participate, and displays the information on the communication terminal of the distributor.
The content distribution server according to claim 1 , wherein the content distribution server is a content distribution server.
前記他人の情報は、前記他の配信を視聴する視聴者又は該他の配信を仮想カメラで撮影している撮影者に関する情報を含む、
ことを特徴とする請求項に記載のコンテンツ配信サーバ。
The information of the other person includes information on a viewer who views the other distribution or a photographer who is photographing the other distribution with a virtual camera.
The content delivery server according to claim 5 .
前記参加受付部は、前記参加希望する他人の参加を許可又は拒否する操作を受け付ける画面を、前記配信者の通信端末に表示させる、
ことを特徴とする請求項1からのいずれか1項に記載のコンテンツ配信サーバ。
The participation reception unit displays a screen for accepting an operation for permitting or rejecting participation of another person who desires to participate in the communication terminal of the distributor.
The content distribution server according to any one of claims 1 6, characterized in that.
前記参加希望する他人の配信を仮想カメラで撮影している撮影者の参加が許可された場合、前記映像生成部は、該撮影者の仮想カメラを前記配信の仮想空間内に移動させ、該撮影者の仮想カメラを前記配信と前記配信とは異なる他の配信とにおいて共有する、
ことを特徴とする請求項7に記載のコンテンツ配信サーバ。
When the photographer who has photographed the distribution of the other person who wants to participate is photographed with a virtual camera, the video generation unit moves the photographer's virtual camera into the distribution virtual space, and the photographing Sharing the virtual camera of the person in the distribution and another distribution different from the distribution,
The content distribution server according to claim 7.
前記参加希望する他人の配信を仮想カメラで撮影している撮影者の参加が拒否された場合、前記撮影者の通信端末は、前記仮想カメラの使用ができない状態で、かつ前記視聴者の通信端末と同じ機能のみを使用できる状態にされる、
ことを特徴とする請求項7に記載のコンテンツ配信サーバ。
When participation of a photographer who has photographed the distribution of another person who wishes to participate with a virtual camera is rejected, the communication terminal of the photographer cannot use the virtual camera and the communication terminal of the viewer Only the same function as can be used,
The content distribution server according to claim 7.
前記他人の通信端末に、前記参加希望を受け付けている配信の一覧情報を示す画面を表示させる一覧情報配信部をさらに備える、
ことを特徴とする請求項1から9のいずれか1項に記載のコンテンツ配信サーバ。
A list information distribution unit for displaying on the other person's communication terminal a screen showing a list of distribution information for accepting the participation request;
The content distribution server according to claim 1, wherein the content distribution server is a content distribution server.
前記参加受付部は、前記参加希望する他人が参加する場合に使用する参加用URLを、該参加希望する他人の通信端末に送信するための操作画面を、前記配信者の通信端末に表示させる、
ことを特徴とする請求項1から10のいずれか1項に記載のコンテンツ配信サーバ。
The participation reception unit displays an operation screen for transmitting to the communication terminal of the other person who wants to participate on the communication terminal of the distributor, the URL for participation used when the other person who wants to participate participates,
The content distribution server according to claim 1, wherein the content distribution server is a content distribution server.
前記配信部は、前記配信を視聴する視聴者の通信端末に、前記参加者と前記配信者を区別可能に表示させる、
ことを特徴とする請求項1から11のいずれか1項に記載のコンテンツ配信サーバ。
The distribution unit displays the participant and the distributor in a distinguishable manner on a communication terminal of a viewer who views the distribution.
The content distribution server according to claim 1, wherein the content distribution server is a content distribution server.
前記移動が生じた場合に、前記配信又は前記他の配信のいずれか一方を視聴する視聴者の通信端末に、他方の配信又は該他方の配信を仮想カメラで撮影している撮影者による配信を視聴するためのリンクを表示させるリンク通知部をさらに備える、
ことを特徴とする請求項又はに記載のコンテンツ配信サーバ。
When the movement occurs, the distribution or the other delivery any communication terminal that vision listener to view one, other delivery or delivery by photographer that captured by the virtual camera said other delivery A link notification unit for displaying a link for viewing
The content delivery server according to claim 3 or 4 , characterized by the above.
前記配信とは異なる他の配信は、他のコンテンツ配信サーバを使用した配信であり、前記配信とは配信プラットフォームが異なる、
ことを特徴とする請求項から13のいずれか1項に記載のコンテンツ配信サーバ。
Another distribution different from the distribution is distribution using another content distribution server, and the distribution platform is different from the distribution.
The content distribution server according to any one of claims 1 to 13, characterized in that.
前記仮想空間内には、複数の仮想カメラが配置され、
前記配信部は、所定条件に基づいて前記複数の仮想カメラによる撮影映像のいずれか一つ以上を切り替えて、該撮影映像を前記ライブコンテンツとして配信する、
ことを特徴とする請求項1から14のいずれか1項に記載のコンテンツ配信サーバ。
A plurality of virtual cameras are arranged in the virtual space,
The distribution unit switches any one or more of the captured images by the plurality of virtual cameras based on a predetermined condition, and distributes the captured image as the live content.
The content distribution server according to any one of claims 1 to 14, characterized in that.
配信者が配信に使用する仮想空間内への他人の参加希望を受けつけて、該配信者と該参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報をそれぞれの仮想キャラクタの動きとして合成した該仮想空間内の映像を生成し、該生成した映像に基づいてライブコンテンツを配信するコンテンツ配信サーバと、
前記配信者が使用する配信者端末と、
前記ライブコンテンツを視聴する視聴者が使用する視聴者端末と、
を備え
前記参加者は、前記配信を視聴する視聴者又は該配信とは異なる他の配信を行う他の配信者であり、
前記参加者が前記他の配信をしている前記他の配信者である場合、前記コンテンツ配信サーバは、前記視聴者の通信端末に、前記配信者と前記他の配信者の両方が映るように合成した映像を表示させる、
ことを特徴とするコンテンツ配信システム。
The distributor accepts the other person's desire to participate in the virtual space used for distribution, and the motion information indicating the movement of the distributor and the participant who participates based on the participation request is used as the movement of each virtual character. A content distribution server that generates a video in the virtual space synthesized as follows and distributes live content based on the generated video;
A distributor terminal used by the distributor;
A viewer terminal used by a viewer who views the live content;
Equipped with a,
The participant is a viewer who views the distribution or another distributor who performs another distribution different from the distribution,
When the participant is the other distributor who is performing the other distribution, the content distribution server is configured so that both the distributor and the other distributor are displayed on the communication terminal of the viewer. Display the synthesized video,
A content distribution system characterized by that.
配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付ステップと、
前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得ステップと、
前記情報取得ステップにおいて取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像を生成する映像生成ステップと、
前記映像生成ステップにおいて生成した映像に基づいてライブコンテンツを配信する配信ステップと、
を含み、
前記参加者は、前記配信を視聴する視聴者又は該配信とは異なる他の配信を行う他の配信者であり、
前記参加者が前記他の配信をしている前記他の配信者である場合、前記配信ステップにおいて、前記視聴者の通信端末に、前記配信者と前記他の配信者の両方が映るように合成した映像を表示させる、
ことを特徴とするコンテンツ配信方法。
Participation acceptance step for accepting other people's participation in the virtual space used by the distributor for distribution;
An information acquisition step of acquiring motion information indicating each movement of the distributor and a participant who participates based on the participation request and information of each virtual character;
A video generation step of generating a video in the virtual space obtained by combining the motion information acquired in the information acquisition step as a motion of the virtual character;
A distribution step of distributing live content based on the video generated in the video generation step;
Only including,
The participant is a viewer who views the distribution or another distributor who performs another distribution different from the distribution,
When the participant is the other distributor who is performing the other distribution, in the distribution step, both the distributor and the other distributor are displayed on the viewer's communication terminal. Displayed video,
A content distribution method characterized by the above.
コンピュータを、
配信者が配信に使用する仮想空間内への他人の参加希望を受け付ける参加受付手段、
前記配信者と前記参加希望に基づいて参加する参加者とのそれぞれの動きを示すモーション情報とそれぞれの仮想キャラクタの情報とを取得する情報取得手段、
前記情報取得手段が取得した前記モーション情報を前記仮想キャラクタの動きとして合成した前記仮想空間内の映像を生成する映像生成手段、
前記映像生成手段が生成した映像に基づいてライブコンテンツを配信する配信手段、
として機能させ
前記参加者は、前記配信を視聴する視聴者又は該配信とは異なる他の配信を行う他の配信者であり、
前記参加者が前記他の配信をしている前記他の配信者である場合、前記配信手段は、前記視聴者の通信端末に、前記配信者と前記他の配信者の両方が映るように合成した映像を表示させる、
プログラム。
Computer
Participation acceptance means for accepting other people's participation in the virtual space used by the distributor for distribution,
Information acquisition means for acquiring motion information indicating each movement of the distributor and a participant who participates based on the participation request and information of each virtual character;
Video generation means for generating a video in the virtual space obtained by combining the motion information acquired by the information acquisition means as the movement of the virtual character;
Distribution means for distributing live content based on the video generated by the video generation means;
To function as,
The participant is a viewer who views the distribution or another distributor who performs another distribution different from the distribution,
When the participant is the other distributor who is performing the other distribution, the distribution unit combines the viewer and the other distributor so that both the distributor and the other distributor are reflected on the viewer's communication terminal. Displayed video,
program.
JP2018077133A 2018-04-12 2018-04-12 Content distribution server, content distribution system, content distribution method and program Active JP6469279B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018077133A JP6469279B1 (en) 2018-04-12 2018-04-12 Content distribution server, content distribution system, content distribution method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018077133A JP6469279B1 (en) 2018-04-12 2018-04-12 Content distribution server, content distribution system, content distribution method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019004488A Division JP2019185736A (en) 2019-01-15 2019-01-15 Content distribution server, content distribution system, content distribution method, and program

Publications (2)

Publication Number Publication Date
JP6469279B1 true JP6469279B1 (en) 2019-02-13
JP2019186797A JP2019186797A (en) 2019-10-24

Family

ID=65356103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018077133A Active JP6469279B1 (en) 2018-04-12 2018-04-12 Content distribution server, content distribution system, content distribution method and program

Country Status (1)

Country Link
JP (1) JP6469279B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022404A1 (en) * 2018-07-25 2020-01-30 株式会社ドワンゴ Content distribution system, content distribution method, and computer program
JP2020039029A (en) * 2018-09-03 2020-03-12 グリー株式会社 Video distribution system, video distribution method, and video distribution program
JP2020162108A (en) * 2019-03-27 2020-10-01 株式会社ドワンゴ Vr live broadcasting distribution system, distribution server, control method for distribution server, program for distribution server, and data structure of vr live picture data
JP2020166821A (en) * 2019-03-29 2020-10-08 株式会社ドワンゴ Communication device, communication method, and communication program
WO2020202616A1 (en) * 2019-03-29 2020-10-08 株式会社ドワンゴ Communication device, communication method, and communication program
JP2020170519A (en) * 2020-06-08 2020-10-15 株式会社バーチャルキャスト Content distribution system, content distribution method, and computer program
JP2021021987A (en) * 2019-07-24 2021-02-18 グリー株式会社 Moving image application program, moving image display method, moving image distribution system, and information processing apparatus
JP7457806B2 (en) 2019-12-03 2024-03-28 シェンチェン センスタイム テクノロジー カンパニー リミテッド Lens division realization method, device and related products

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7228338B2 (en) * 2018-05-22 2023-02-24 株式会社 ディー・エヌ・エー System, method and program for distributing videos
JP2023146856A (en) * 2022-03-29 2023-10-12 グリー株式会社 Computer program, method and server device
JP7392957B2 (en) 2022-03-29 2023-12-06 グリー株式会社 Computer programs, methods and server devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020389A (en) * 2011-07-08 2013-01-31 Dowango:Kk Display system for installation in venue
JP2013021466A (en) * 2011-07-08 2013-01-31 Dowango:Kk Video display system, video display method, video display control program and action information transmission program
JP2017188833A (en) * 2016-04-08 2017-10-12 ソニー株式会社 Information processing device and information processing method; and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020389A (en) * 2011-07-08 2013-01-31 Dowango:Kk Display system for installation in venue
JP2013021466A (en) * 2011-07-08 2013-01-31 Dowango:Kk Video display system, video display method, video display control program and action information transmission program
JP2017188833A (en) * 2016-04-08 2017-10-12 ソニー株式会社 Information processing device and information processing method; and program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11477507B2 (en) 2018-07-25 2022-10-18 Dwango Co., Ltd. Content distribution system, content distribution method, and computer program
JP2020017243A (en) * 2018-07-25 2020-01-30 株式会社バーチャルキャスト Content distribution system, content distribution method, and computer program
WO2020022404A1 (en) * 2018-07-25 2020-01-30 株式会社ドワンゴ Content distribution system, content distribution method, and computer program
JP2020039029A (en) * 2018-09-03 2020-03-12 グリー株式会社 Video distribution system, video distribution method, and video distribution program
JP2020162108A (en) * 2019-03-27 2020-10-01 株式会社ドワンゴ Vr live broadcasting distribution system, distribution server, control method for distribution server, program for distribution server, and data structure of vr live picture data
JP7324659B2 (en) 2019-03-27 2023-08-10 株式会社ドワンゴ VR live broadcast distribution system, distribution server, distribution server control method, distribution server program, and data structure of VR raw photo data
JP7309627B2 (en) 2019-03-29 2023-07-18 株式会社ドワンゴ Distribution device, viewer terminal, distribution method, information processing method, and program
JP2020166575A (en) * 2019-03-29 2020-10-08 株式会社ドワンゴ Distribution server, viewer terminal, distributor terminal, distribution method, information processing method, and program
US11500456B2 (en) 2019-03-29 2022-11-15 Dwango Co., Ltd. Communication device, communication method, and communication program
WO2020202616A1 (en) * 2019-03-29 2020-10-08 株式会社ドワンゴ Communication device, communication method, and communication program
JP2020166821A (en) * 2019-03-29 2020-10-08 株式会社ドワンゴ Communication device, communication method, and communication program
US11861058B2 (en) 2019-03-29 2024-01-02 Dwango Co., Ltd. Communication device, communication method, and communication program
JP2021021987A (en) * 2019-07-24 2021-02-18 グリー株式会社 Moving image application program, moving image display method, moving image distribution system, and information processing apparatus
JP7457806B2 (en) 2019-12-03 2024-03-28 シェンチェン センスタイム テクノロジー カンパニー リミテッド Lens division realization method, device and related products
JP2020170519A (en) * 2020-06-08 2020-10-15 株式会社バーチャルキャスト Content distribution system, content distribution method, and computer program
JP7159244B2 (en) 2020-06-08 2022-10-24 株式会社バーチャルキャスト CONTENT DELIVERY SYSTEM, CONTENT DELIVERY METHOD, COMPUTER PROGRAM

Also Published As

Publication number Publication date
JP2019186797A (en) 2019-10-24

Similar Documents

Publication Publication Date Title
JP6469279B1 (en) Content distribution server, content distribution system, content distribution method and program
JP6527627B1 (en) Content distribution server, content distribution system, content distribution method and program
JP6556301B1 (en) Content distribution server, virtual character providing server, content distribution system, content distribution method and program
JP2019186799A (en) Content distribution server, content distribution system, content distribution method, and program
JP2022177053A (en) Information processing system, information processing method, and information processing program
US11956504B2 (en) Content distribution server, content distribution system, content distribution method, and program
JP2023538958A (en) Photography methods, equipment, electronic equipment and computer-readable storage media
JP6883140B1 (en) Information processing system, information processing method and computer program
US20200349749A1 (en) Virtual reality equipment and method for controlling thereof
JP2020017950A (en) Content distribution server, virtual character provision server, content distribution system, content distribution method and program
JP2020039112A (en) Content distribution server, content distribution system, content distribution method, and program
JP2019185736A (en) Content distribution server, content distribution system, content distribution method, and program
JP2023153790A (en) program
JP6385543B1 (en) Server apparatus, distribution system, distribution method, and program
JP6473265B1 (en) Content distribution server, content distribution system, content distribution method and program
JP6487585B1 (en) Content distribution server, virtual character providing server, content distribution system, content distribution method and program
JP2019185720A (en) Content distribution server, content distribution system, content distribution method, and program
JP2020071519A (en) Guide device and guide system
JP2020038601A (en) Content distribution server, content distribution system, content distribution method, and program
JP2019185750A (en) Content distribution server, virtual character provision server, content distribution system, content distribution method, and program
JP2020039109A (en) Content distribution server, content distribution method, and program
JP2018026603A (en) Image distribution apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180710

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180710

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181119

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20181101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190115

R150 Certificate of patent or registration of utility model

Ref document number: 6469279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250