JP7133465B2 - 動画配信システム、動画配信方法および動画配信プログラム - Google Patents

Description

特許法第３０条第２項適用 ・２０１８年 ８月７日 「ＲＥＡＬＩＴＹ」公式ＤＬサイト（ｈｔｔｐｓ：／／ｌｅ．ｗｒｉｇｈｔｆｌｙｅｒ．ｎｅｔ／ｒｅａｌｉｔｙ／） ・２０１８年１０月２２日 「ＲＥＡＬＩＴＹ Ａｖａｔａｒ」公式ＤＬサイト（ｈｔｔｐｓ：／／ｌｅ．ｗｒｉｇｈｔｆｌｙｅｒ．ｎｅｔ／ｒｅａｌｉｔｙ／）

本発明は、動画配信システム、動画配信方法および動画配信プログラムに関し、特に、明細書における開示は、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法および動画配信プログラムに関する。

従来から、アクターの動きに基づいてキャラクタオブジェクトのアニメーションを生成し、かかるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システムが知られている。このような動画配信システムは、例えば、特許文献１に開示されている。

コンテンツを視聴する視聴ユーザからの要求に応じて、当該視聴ユーザが購入したアイテムに対応するギフトオブジェクトを表示画面に表示させるコンテンツ配信システムも知られている。例えば、特許文献２に開示されている動画配信システムでは、視聴ユーザは、ギフトアイテムを購入し、この購入したギフトアイテムをパフォーマー（コンテンツ配信者）に対してギフトとして提供することができる。

特開２０１５－１８４６８９号公報 特開２０１２－１２００９８号公報

従来のギフトは、予めギフト毎に定められた表示時間が経過すると表示が自動的に終了するのが一般的である。しかしながら、ギフトの中には、アクターの特定の反応を求めるために提供されるものがあり、この場合、ギフトの表示が自動的に終了してしまうと、視聴ユーザはギフトを提供する意欲が低下してしまう。また、アクターも、上記特定の反応を行うための時間の残量を気にする必要が生じ、アクトへの集中力が低下してしまう。

本開示の目的は、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本開示のより具体的な目的の一つは、視聴ユーザのアクターへのギフトを提供する意欲を低下させることなく、また、アクターのアクトへの集中力を低下させることなく、ギフトの表示を適切に終了することができる動画配信システム、動画配信方法および動画配信プログラムを提供することである。

本発明の動画配信システムは、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションおよびギフトオブジェクトを含む動画を配信する動画配信システムであって、ギフトオブジェクトは、複数の面を有する多面体オブジェクトを含み、一又は複数のコンピュータプロセッサを備え、一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、視聴ユーザからの表示要求に基づいて、多面体オブジェクトを、動画内の仮想空間内を転がるように、かつ、予め定められた所定の確率で特定された少なくとも一の面がアクターに識別可能に停止するように表示させ、アクターの動作または音声に、多面体オブジェクトの表示終了要求が含まれるか否かを解析し、解析の結果、アクターの動作または音声に表示終了要求が含まれると解析された場合に、多面体オブジェクトの表示を終了することを特徴とする。

多面体オブジェクトの各面には、アクターがリアクションすべき情報が表示され、表示終了要求は、一の面に表示された情報に対応するリアクションとすることができる。

リアクションは、情報の読み上げ、情報が意味する内容への返答、情報が意味する内容に関する動作の少なくとも一つを含むことができる。

表示終了要求は、所定の第一の動作、および、当該第一の動作から所定時間内に行われた第二の動作のセットとすることができる。

表示終了要求は、所定の第一の音声、および、当該第一の音声から所定時間内に行われた第二の音声を含むセットとすることができる。

セットは、多面体オブジェクトの各面に対応付けられて定められることができる。

多面体オブジェクトが停止して表示された際、仮想空間を撮影する仮想カメラが移動することにより、一の面をズーム表示することができる。

多面体オブジェクトが停止して表示された際、一の面に表示された情報は、多面体オブジェクトとは別に動画内の所定位置にテキスト表示されることができる。

一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、一の面に表示された情報に基づいて、仮想空間内に所定の効果を発生させることができる。

一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、一の視聴ユーザからの表示要求に基づいて、多面体オブジェクトを、動画内の仮想空間内に表示させている場合には、一の視聴ユーザおよび他の視聴ユーザからの表示要求に基づいて、多面体オブジェクトを、動画内の仮想空間内に表示させないことができる。

一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、一の視聴ユーザからの表示要求に基づいて、多面体オブジェクトを、動画内の仮想空間内に表示させている場合には、一の視聴ユーザおよび他の視聴ユーザに対し、多面体オブジェクトを動画内の仮想空間内に表示させるための表示を行わないことができる。

本発明の動画配信方法は、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションおよびギフトオブジェクトを含む動画を配信する動画配信方法であって、ギフトオブジェクトは、複数の面を有する多面体オブジェクトを含み、視聴ユーザからの表示要求を受け付ける工程と視聴ユーザからの表示要求に基づいて、多面体オブジェクトを、動画内の仮想空間内を転がるように、かつ、予め定められた所定の確率で特定された少なくとも一の面がアクターに識別可能に停止するように表示させる工程と、アクターの動作または音声に、多面体オブジェクトの表示終了要求が含まれるか否かを解析する工程と、解析の結果、アクターの動作または音声に表示終了要求が含まれると解析された場合に、多面体オブジェクトの表示を終了するする工程と、を備えることを特徴とする。

本発明の動画配信プログラムは、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションおよびギフトオブジェクトを含む動画を配信する動画配信プログラムであって、ギフトオブジェクトは、複数の面を有する多面体オブジェクトを含み、一又は複数のコンピュータプロセッサに、視聴ユーザからの表示要求を受け付ける工程と視聴ユーザからの表示要求に基づいて、多面体オブジェクトを、動画内の仮想空間内を転がるように、かつ、予め定められた所定の確率で特定された少なくとも一の面がアクターに識別可能に停止するように表示させる工程と、アクターの動作または音声に、多面体オブジェクトの表示終了要求が含まれるか否かを解析する工程と、解析の結果、アクターの動作または音声に表示終了要求が含まれると解析された場合に、多面体オブジェクトの表示を終了するする工程と、を実行させることができる。

本発明の実施形態によれば、視聴ユーザのアクターへのギフトを提供する意欲を低下させることなく、また、アクターのアクトへの集中力を低下させることなく、ギフトの表示を適切に終了することができる。

一実施形態による動画配信システムを示すブロック図である。 一実施形態による動画配信システムのサーバ装置を示すブロック図である。 図１の動画配信システムで配信される動画を制作するスタジオの設備を模式的に示す模式図である。 多面体オブジェクトの一例を示す模式図である。 図１の動画配信システムにおいて記憶される保有リストを説明する図である。 一実施形態においてクライアント装置１０ａに表示される動画の例を示す図である。図６には、キャラクタオブジェクトのアニメーションが含まれている。 一実施形態においてクライアント装置１０ａに表示される動画の例を示す図である。図７には、特定オブジェクトが含まれている。 一実施形態における動画配信処理の流れを示すフロー図である。 一実施形態において特定オブジェクトを表示する処理の流れを示すフロー図である。

以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。

図１から図５を参照して、一実施形態による動画配信システムについて説明する。図１および２は、一実施形態による動画配信システム１を示すブロック図であり、図３は、動画配信システム１で配信される動画の制作が行われるスタジオの設備を模式的に示す模式図であり、図４および図５は、動画配信システム１において記憶される情報を説明するための図である。

動画配信システム１は、クライアント装置１０ａ～１０ｃと、サーバ装置２０と、スタジオユニット３０と、ストレージ６０と、を備える。クライアント装置１０ａ～１０ｃと、サーバ装置２０と、ストレージ６０とは、ネットワーク５０を介して相互に通信可能に接続されている。サーバ装置２０は、後述するように、キャラクタのアニメーションを含む動画を配信するように構成される。この動画に含まれるキャラクタは、仮想空間内でモーション制御されてもよい。

この動画は、サーバ装置２０からクライアント装置１０ａ～１０ｃの各々に配信され得る。クライアント装置１０ａのユーザである第１視聴ユーザ、クライアント装置１０ｂのユーザである第２視聴ユーザ、およびクライアント装置１０ｃのユーザである第３視聴ユーザは、配信された動画を、各クライアント装置により視聴することができる。動画配信システム１は、３台よりも少ない数のクライアント装置を備えていてもよく、３台よりも多い数のクライアント装置を備えていてもよい。

クライアント装置１０ａ～１０ｃは、スマートフォンなどの情報処理装置である。クライアント装置１０ａ～１０ｃは、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、およびこれら以外の動画を再生可能な各種情報処理装置であってもよい。クライアント装置１０ａ～１０ｃの各々は、コンピュータプロセッサ、メモリ、通信Ｉ／Ｆ、ディスプレイ、ジャイロセンサ等の各種センサを備えるセンサユニット、マイク等の集音装置、および各種情報を記憶するストレージを備えていてもよい。

図２に示す実施形態において、サーバ装置２０は、コンピュータプロセッサ２１と、通信Ｉ／Ｆ２２と、ストレージ２３と、を備えている。

コンピュータプロセッサ２１は、ストレージ２３又はそれ以外のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ２１は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＧＰＵ、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ２１は、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ、ＭＣＵ等の集積回路により実現されてもよい。図２においては、コンピュータプロセッサ２１が単一の構成要素として図示されているが、コンピュータプロセッサ２１は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。本明細書において、コンピュータプロセッサ２１によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ２１によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより実行されてもよい。

通信Ｉ／Ｆ２２は、ハードウェア、ファームウェア、又はＴＣＰ／ＩＰドライバやＰＰＰドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置２０は、通信Ｉ／Ｆ２２を介して、他の装置とデータを送受信することができる。

ストレージ２３は、コンピュータプロセッサ２１によりアクセスされる記憶装置である。ストレージ２３は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な以外の各種記憶装置である。ストレージ２３には、様々なプログラムが記憶され得る。ストレージ２３に記憶され得るプログラムおよび各種データの少なくとも一部は、サーバ装置２０とは物理的に別体のストレージ（例えば、ストレージ６０）に格納されてもよい。

スタジオユニット３０の構成要素の多くは、例えば、図３に示されているスタジオルームＲに配されている。図示のように、スタジオルームＲにおいては、アクターＡ１およびアクターＡ２がパフォーマンスを行っている。スタジオユニット３０は、アクターＡ１およびアクターＡ２の動きおよび表情を検出し、検出した情報をサーバ装置２０に出力するように構成されている。

アクターＡ１およびアクターＡ２はいずれも、スタジオユニット３０に備えられる後述のセンサ群によって動きや表情がキャプチャされる対象である。アクターＡ１およびアクターＡ２は、例えば、パフォーマンスを行う人間、動物、または運動する物体である。アクターＡ１およびアクターＡ２は、例えば、自立運動可能なロボットであってもよい。スタジオルームＲ内のアクターの数は、１であってもよいし、３以上であってもよい。

スタジオユニット３０は、アクターＡ１に装着される６つのモーションセンサ３１ａ～３１ｆと、アクターＡ１の左手に把持されているコントローラ３３ａと、アクターＡ１の右手に把持されているコントローラ３３ｂと、装着具３７ｂを介してアクターＡ１の頭部に取り付けられるカメラ３７ａ（図示せず）と、を有する。スタジオユニット３０はまた、アクターＡ２に装着される６つのモーションセンサ３２ａ～３２ｆと、アクターＡ２の左手に把持されているコントローラ３４ａと、アクターＡ２の右手に把持されているコントローラ３４ｂと、装着具３８ｂを介してアクターＡ２の頭部に取り付けられるカメラ３８ａ（図示せず）と、を有する。装着具３７ｂおよび装着具３８ｂの各々には、音声データを取得するためのマイクが取り付けられてもよい。このマイクは、アクターＡ１およびアクターＡ２の発話を音声データとして取得することができる。マイクは、装着具３７ｂおよび装着具３８ｂを介してアクターＡ１およびアクターＡ２に装着される装着型のマイクであってもよく、スタジオルームＲの床、壁、又は天井に設置される設置型のものであってもよい。スタジオユニット３０は、上記の構成要素に加えて、ベースステーション３５ａと、ベースステーション３５ｂと、トラッキングセンサ３６ａと、トラッキングセンサ３６ｂと、ディスプレイ３９と、を有する。スタジオルームＲとガラス窓を隔てた隣室には、サポーターコンピュータ４０が設置されている。サーバ装置２０は、サポーターコンピュータ４０が設置されている部屋と同じ部屋に設置されてもよい。

モーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆは、ベースステーション３５ａおよびベースステーション３５ｂと協働して、自らの位置および向きを検出する。一実施形態において、ベースステーション３５ａおよびベースステーション３５ｂは、多軸レーザーエミッターである。ベースステーション３５ａは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション３５ｂは、例えば水平軸の周りでレーザー光を走査する。モーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆはそれぞれ、ベースステーション３５ａおよびベースステーション３５ｂからの点滅光およびレーザー光の入射を検知する光センサを複数備えてもよい。モーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆはそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光センサが検知したレーザー光の入射角度、および必要に応じてこれら以外の情報に基づいて、自らの位置および向きを検出してもよい。モーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆは、例えば、ＨＴＣ ＣＯＲＰＯＲＡＴＩＯＮから提供されているＶｉｖｅ Ｔｒａｃｋｅｒであってもよい。ベースステーション３５ａおよびベースステーション３５ｂは、例えば、ＨＴＣ ＣＯＲＰＯＲＡＴＩＯＮから提供されているベースステーションであってもよい。

モーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆの各々において算出された各モーションセンサの位置および向きを示す検出情報は、サーバ装置２０に送信される。この検出情報は、モーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆの各々からサーバ装置２０に無線送信されてもよい。ベースステーション３５ａおよびベースステーション３５ｂは、一定のインターバルで点滅光の発光およびレーザー光の走査を行うので、各モーションセンサの検出情報は、当該インターバルごとに更新される。

図示の実施形態において、アクターＡ１は、６つのモーションセンサ３１ａ～３１ｆを装着している。モーションセンサ３１ａ，３１ｂ，３１ｃ，３１ｄ，３１ｅ，および３１ｆはそれぞれ、アクターＡ１の左手首、右手首、左足甲、右足甲、腰、および頭頂に装着されている。モーションセンサ３１ａ～３１ｆは、装着具を介してアクターＡ１に装着されてもよい。アクターＡ２は、６つのモーションセンサ３２ａ～３２ｆを装着している。モーションセンサ３２ａ～３２ｆは、アクターＡ２に対してモーションセンサ３１ａ～３１ｆと同様の位置に装着され得る。図２に示されているモーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆは例示である。モーションセンサ３１ａ～３１ｆは、アクターＡ１の様々な部位に装着され得るし、モーションセンサ３２ａ～３２ｆは、アクターＡ２の様々な部位に装着され得る。アクターＡ１およびアクターＡ２に装着されるモーションセンサの数は５以下であってもよいし７以上であってもよい。このように、アクターＡ１およびアクターＡ２の体の各部に装着されたモーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆの位置および向きを検出することにより、アクターＡ１およびアクターＡ２の体の動きを検出することができる。

一実施形態においては、アクターＡ１およびアクターＡ２に装着される複数のモーションセンサの各々に多数の赤外ＬＥＤを搭載し、この赤外ＬＥＤからの光を、スタジオルームＲの床や壁に設けられた赤外線カメラで検知することで、当該モーションセンサの各々の位置および向きを検出してもよい。赤外ＬＥＤに代えて可視光ＬＥＤを使用し、この可視光ＬＥＤからの光を可視光カメラで検出することで、当該モーションセンサの各々の位置および向きを検出してもよい。このように、アクターに装着される複数のモーションセンサの各々に発光部（例えば、赤外ＬＥＤや可視光ＬＥＤ）を設け、この発光部からの光をスタジオルームＲ内に設けられた受光部（例えば、赤外線カメラや可視光カメラ）で検出することで、当該モーションセンサの各々の位置および向きを検出してもよい。

一実施形態においては、モーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆに代えて、複数の反射マーカーを用いることができる。反射マーカーは、アクターＡ１およびアクターＡ２の各々に粘着テープなどにより貼付される。このように反射マーカーが貼付されたアクターＡ１およびアクターＡ２を撮影して撮影データを生成し、この撮影データを画像処理することにより、反射マーカーの位置および向きを検出することができる。

コントローラ３３ａおよびコントローラ３３ｂは、アクターＡ１の操作に応じたコントロール信号をサーバ装置２０に出力する。同様に、コントローラ３４ａおよびコントローラ３４ｂは、アクターＡ２の操作に応じたコントロール信号をサーバ装置２０に出力する。

トラッキングセンサ３６ａおよびトラッキングセンサ３６ｂは、動画に含まれる仮想空間を構築するための仮想カメラの設定情報を定めるためのトラッキング情報を生成する。トラッキングセンサ３６ａおよびトラッキングセンサ３６ｂのトラッキング情報は、各々の三次元直交座標系での位置および各軸回りの角度として算出される。トラッキングセンサ３６ａの位置および向きは、操作者の操作に応じて変更されえる。トラッキングセンサ３６ａは、その位置および向きを示すトラッキング情報をトラッキング情報サーバ装置２０に送信する。同様に、トラッキングセンサ３６ｂの位置および向きは、操作者の操作に応じて設定される。トラッキングセンサ３６ｂは、その位置および向きを示すトラッキング情報をトラッキング情報サーバ装置２０に送信する。

カメラ３７ａは、上記のように、アクターＡ１の頭部に取り付けられている。例えば、カメラ３７ａは、アクターＡ１の顔を撮像できるように配置されている。カメラ３７ａは、アクターＡ１の顔を連続的に撮像し、アクターＡ１の顔の撮像データを取得する。同様に、カメラ３８ａは、アクターＡ２の頭部に取り付けられている。カメラ３８ａは、アクターＡ２の顔を撮像できるように配置されており、アクターＡ２の顔を連続的に撮像し、アクターＡ２の顔の撮像データを取得する。カメラ３７ａは、アクターＡ１の顔の撮像データをサーバ装置２０に送信し、カメラ３８ａは、アクターＡ１の顔の撮像データをサーバ装置２０に送信する。カメラ３７ａおよびカメラ３８ａは、人物の顔の奥行きを検出可能な３Ｄカメラであってもよい。

ディスプレイ３９は、サポートコンピュータ４０から受信した情報を表示するように構成される。サポートコンピュータ４０からディスプレイ３９に送信される情報は、例えば、テキスト情報、画像情報、およびこれら以外の各種情報を含み得る。ディスプレイ３９は、アクターＡ１およびアクターＡ２によって視認可能な位置に配置される。

図示の実施形態において、サポーターコンピュータ４０は、スタジオルームＲの隣室に設置されている。サポーターコンピュータ４０が設置されている部屋とスタジオルームＲとはガラス窓によって隔てられているため、サポーターコンピュータ４０のオペレータ（本明細書では「サポーター」ということがある。）は、アクターＡ１およびアクターＡ２を視認できる。図示の実施形態においては、サポーターコンピュータ４０のオペレータとして、サポーターＢ１およびサポーターＢ２が在室している。

サポーターコンピュータ４０は、サポーターＢ１およびサポーターＢ２の操作に応じて、スタジオユニット３０の構成要素の設定を変更することができるように構成されてもよい。サポーターコンピュータ４０は、例えば、ベースステーション３５ａおよびベースステーション３５ｂによる走査インターバルの設定、トラッキングセンサ３６ａおよびトラッキングセンサ３６ｂの位置または向きの設定、およびこれら以外の各種機器の各種設定の変更を行うことができる。サポーターＢ１およびサポータＢ２の少なくとも一方は、サポーターコンピュータ４０にメッセージを入力し、当該入力されたメッセージをディスプレイ３９に表示することができる。

図２に示されているスタジオユニット３０の構成要素および機能は例示である。本発明に適用可能なスタジオユニット３０は、図示されていない様々な構成要素を備え得る。例えば、スタジオユニット３０は、プロジェクタを備えていてもよい。当該プロジェクタは、クライアント装置１０ａまたはそれ以外のクライアント装置に配信される動画をスクリーンＳに投影することができる。

次に、一態様において、ストレージ２３に記憶される情報について説明する。図示の実施形態においては、ストレージ２３には、モデルデータ２３ａ、オブジェクトデータ２３ｂ、保有リスト２３ｃ、候補リスト２３ｄ、および以外の配信動画の生成および配信に必要な様々な情報が記憶される。

モデルデータ２３ａは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ２３ａは、３次元のアニメーションを生成するための３次元モデルデータであってもよいし、２次元のモデルデータを生成するための２次元モデルデータであってもよい。モデルデータ２３ａは、例えば、キャラクタの骨格を示すリグデータ（「スケルトンデータ」と呼ばれることもある。）と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ２３ａには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。図示の実施形態においては、アクターＡ１に対応するキャラクタオブジェクトおよびアクターＡ２に対応するキャラクタオブジェクトを生成するために、モデルデータ２３ａは、互いに異なる少なくとも２種類のモデルデータを有する。このアクターＡ１に対応するキャラクタオブジェクト用のモデルデータとアクターＡ２に対応するキャラクタオブジェクト用のモデルデータとは、例えば、同じリグデータを有するが、異なる表面データを有していてもよい。

オブジェクトデータ２３ｂは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ２３ｂは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、およびこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ２３ａには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。

オブジェクトデータ２３ｂには、上記以外にも、クライアント装置１０ａ～１０ｃの視聴ユーザからの表示要求に基づいて動画に表示されるギフトオブジェクトが含まれ得る。ギフトオブジェクトには、エフェクトオブジェクトと、通常オブジェクトと、装飾オブジェクトと、特定オブジェクトとが含まれ得る。視聴ユーザは、所望のギフトオブジェクトを購入することができる。

エフェクトオブジェクトは、配信動画の視聴画面全体の印象に影響を与えるオブジェクトであり、例えば紙吹雪を模したオブジェクトである。紙吹雪を模したオブジェクトは、視聴画面全体に表示されてもよく、これにより表示の前後における視聴画面全体の印象を変えることができる。エフェクトオブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。

通常オブジェクトは、視聴ユーザからアクター（例えば、アクターＡ１またはアクターＡ２）へのデジタル的なギフトとなるオブジェクトであり、例えばぬいぐるみや花束を模したオブジェクトである。一態様において、通常オブジェクトは、キャラクタオブジェクトと接しないように動画の表示画面に表示される。一態様において、通常オブジェクトは、キャラクタオブジェクトと重複しないように動画の表示画面に表示される。通常オブジェクトは、仮想空間においてキャラクタオブジェクト以外のオブジェクトと重複するように表示されてもよい。通常オブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。一態様において、通常オブジェクトをキャラクタオブジェクトと重複して表示させる場合には、当該通常オブジェクトは、当該キャラクタオブジェクトの顔を含む頭部以外の部分と重複し、当該キャラクタオブジェクトの頭部とは重複しないように表示される。

装飾オブジェクトは、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示されるオブジェクトである。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位に接するように表示画面に表示される。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位の一部又は全部を覆うように表示画面に表示される。特定の部位は、３次元座標空間における位置を示す３次元位置情報で特定されてもよいし、３次元座標空間の位置情報に関連付けられていてもよい。例えばキャラクタの頭部において、特定の部位は、頭部の前方左側、前方右側、後方左側、後方右側、中央前側、中央後側、左目、右目、左耳、右耳、および髪全体という単位で定められてもよい。

装飾オブジェクトは、例えば、キャラクタオブジェクトに装着されるアクセサリー（カチューシャ、ネックレス、イヤリングなど）、衣服（Ｔシャツなど）、コスチューム、およびこれら以外のキャラクラオブジェクトに装着可能なオブジェクトである。装飾オブジェクトに対応するオブジェクトデータ２３ｂには、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着位置情報が含まれてもよい。ある装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に装着されるかを示すことができる。例えば、装飾オブジェクトがカチューシャである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「頭部」に装着されることを示してもよい。装飾オブジェクトが装着される装着位置情報が３次元座標空間の位置として特定される場合には、当該装着位置情報は３次元座標空間における複数の位置と関連付けられてもよい。例えば「カチューシャ」を示す装飾オブジェクトが装着される位置を示す装着位置情報は、キャラクタオブジェクトの「頭部後方左側」と「頭部後方右側」の２つの部位と関連付けられてもよい。つまり、「カチューシャ」を示す装飾オブジェクトは、「頭部後方左側」および「頭部後方右側」の両方に装着されてもよい。装飾オブジェクトがＴシャツである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「胴部」に装着されることを示してもよい。

特定オブジェクトは、視聴ユーザからアクター（例えば、アクターＡ１またはアクターＡ２）へのデジタル的なギフトとなるオブジェクトであり、例えば図４に示されるようなサイコロなどの複数の面を有する多面体オブジェクトである。この多面体オブジェクトの面の数は特に限定されず、多面体を構成可能であればよい。

一態様において、特定オブジェクトは、キャラクタオブジェクトと接しないように動画の表示画面に表示される。一態様において、特定オブジェクトは、キャラクタオブジェクトと重複しないように動画の表示画面に表示される。特定オブジェクトは、仮想空間においてキャラクタオブジェクト以外のオブジェクトと重複するように表示されてもよい。特定オブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。一態様において、特定オブジェクトをキャラクタオブジェクトと重複して表示させる場合には、当該特定オブジェクトは、当該キャラクタオブジェクトの顔を含む頭部以外の部分と重複し、当該キャラクタオブジェクトの頭部とは重複しないように表示される。

多面体オブジェクトは、仮想空間において転がるように表示され、予め定められた所定の確率で特定された少なくとも一の面がアクターに識別可能に停止するよう表示される。

多面体オブジェクトの各面が特定される確率は、面の数に基づいて均等に分配されるものとすることができる。あるいは、所定の条件に基づいて設定された確率とすることもできる。

一の面を仮想空間の床面と接する面と反対の面（上面）としたり、仮想カメラの方向の面（例えば正面）としたりすることで、一の面をアクターに識別させることができる。アクターが図３に示すようなスクリーンＳやディスプレイ３９により配信動画を確認している場合には、一の面は正面とするとアクターが一の面を確認し易くなる。一方、アクターが図示しないＨＭＤ（ヘッドマウントディスプレイ）を装着して配信動画を確認している場合には、一の面は上面とするとアクターの動きが自然となり動画のクオリティが向上する。このように、特定される一の面は、アクターの状態に応じて異ならせてもよい。

また、多面体オブジェクトの各面には、アクターがリアクション可能な文字情報が表示されることができる。このリアクション可能な文字情報とは、例えば「恋バナ」「マイブーム」「笑い話」などの話題を提供するものや、「キス顔」「投げキッス」「ウインク」などの動作を求めるものとすることができる。

アクターは、特定された一の面に表示される文字情報を確認し、その文字情報に対応するリアクションを行うことで、視聴ユーザの要求に応えることができる。

また、多面体オブジェクトは、各面で異なる数字や色が表示されているものであってもよい。この場合、アクターは、上記数字や色に別途対応付けられた話題や動作に対してリアクションを行うものとする。

なお、多面体オブジェクトが停止して表示された際、動画を撮影する仮想カメラが移動することにより一の面をズーム表示するのが好ましい。かかる構成によれば、多面体オブジェクトの場所やサイズに依らず、表示された文字情報をアクターは容易に確認することができる。

また、一の面に表示された文字情報は、多面体オブジェクトとは別に動画内にテキスト表示されてもよい。このテキストは、視聴ユーザからのコメント欄に並べられてもよいし、動画内の別の場所、例えば多面体オブジェクトの周囲に表示されるものとしてもよい。かかる構成によれば、多面体オブジェクトの場所やサイズに依らず、表示された文字情報をアクターは容易に確認することができる。

特定オブジェクトを除くギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよい。一態様において、装飾オブジェクトの表示時間は、エフェクトオブジェクトの表示時間および通常オブジェクトの表示時間よりも長く設定されていてもよい。例えば、装飾オブジェクトの表示時間は６０秒間に設定され、エフェクトオブジェクトの表示時間は５秒間に設定され、通常オブジェクトの表示時間は１０秒間に設定されてもよい。

保有リスト２３ｃは、動画の視聴ユーザが保有しているギフトオブジェクトを示すリストである。保有リスト２３ｃの例が図５に示されている。図示のように、保有リスト２３ｃにおいては、視聴ユーザのアカウント情報（例えば、視聴ユーザのユーザＩＤ）と対応づけて、当該視聴ユーザが保有するギフトオブジェクトを特定するオブジェクトＩＤが記憶されている。この視聴ユーザは、例えば、クライアント装置１０ａ～クライアント装置１０ｃの第１視聴ユーザ～第３視聴ユーザが含まれる。

次に、コンピュータプロセッサ２１により実現される機能についてより具体的に説明する。図２に示されるように、コンピュータプロセッサ２１は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、ボディモーションデータ生成部２１ａ、フェイスモーションデータ生成部２１ｂ、アニメーション生成部２１ｃ、動画生成部２１ｄ、動画配信部２１ｅ、表示要求処理部２１ｆ、表示終了要求解析部２１ｇ、オブジェクト購入処理部２１ｈとして機能する。コンピュータプロセッサ２１により実現される機能の少なくとも一部は、動画配信システム１のコンピュータプロセッサ２１以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ２１により実現される機能の少なくとも一部は、例えば、サポーターコンピュータ４０に搭載されているコンピュータプロセッサにより実現されてもよい。

ボディモーションデータ生成部２１ａは、モーションセンサ３１ａ～３１ｆの各々の検出情報に基づいて、アクターＡ１の体の各部位の第１ボディモーションデータを生成し、また、モーションセンサ３２ａ～３２ｆの各々の検出情報に基づいて、アクターＡ２の体の各部位の位置および向きのデジタル表現である第２ボディモーションデータを生成する。本明細書では、第１ボディモーションデータおよび第２ボディモーションデータを総称して単に「ボディモーションデータ」と呼ぶことがある。ボディモーションデータは、時間の経過に伴って随時生成される。例えば、ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、ボディモーションデータは、アクターＡ１およびアクターＡ２の体の動きを時系列的にデジタルデータとして表現することができる。図示の実施形態においては、モーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆは、アクターＡ１およびアクターＡ２の各々の左右の手足、腰、および頭部に装着されているため、モーションセンサ３１ａ～３１ｆおよびモーションセンサ３２ａ～３２ｆの検出情報に基づいて、アクターＡ１およびアクターＡ２の概ね全身の位置および向きを経時的にデジタル表現することが可能である。ボディモーションデータは、例えば、モデルデータ２３ａに含まれるリグデータを構成する骨（ボーン）の位置および回転角度を規定することができる。

フェイスモーションデータ生成部２１ｂは、カメラ３７ａの撮像データに基づいて、アクターＡ１の顔の動きのデジタル表現である第１フェイスモーションデータを生成し、また、カメラ３８ａの各々の撮像データに基づいて、アクターＡ２の顔の動きのデジタル表現である第２フェイスモーションデータを生成する。本明細書では、第１フェイスモーションデータおよび第２フェイスモーションデータを総称して単に「フェイスモーションデータ」と呼ぶことがある。フェイスモーションデータは、時間の経過に伴って随時生成される。例えば、フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、フェイスモーションデータは、アクターＡ２およびアクターＡ２の顔の動き（表情の変化）を時系列的にデジタル表現することができる。

アニメーション生成部２１ｃは、ボディモーションデータ生成部２１ａによって生成されたボディモーションデータおよびフェイスモーションデータ生成部２１ｂによって生成されたフェイスモーションデータを、モデルデータ２３ａに含まれる所定のモデルデータに適用することにより、仮想空間内で動き、また、表情が変化するキャラクタオブジェクトのアニメーションを生成するように構成される。具体的には、アニメーション生成部２１ｃは、アクターＡ１に関する第１ボディモーションデータおよび第１フェイスモーションデータに基づいて、アクターＡ１の体および表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成し、アクターＡ２に関する第２ボディモーションデータおよび第２フェイスモーションデータに基づいて、アクターＡ２の体および表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。本明細書においては、アクターＡ１の動きおよび表情に基づいて生成されたキャラクタオブジェクトを「第１キャラクタオブジェクト」といい、アクターＡ２の動きおよび表情に基づいて生成されたキャラクタオブジェクトを「第２キャラクタオブジェクト」ということがある。

動画生成部２１ｄは、オブジェクトデータ２３ｂを用いて仮想空間を構築し、この仮想空間と、アクターＡ１に対応する第１キャラクタオブジェクトのアニメーションと、アクターＡ２に対応する第２キャラクタオブジェクトのアニメーションと、を含む動画を生成する。第１キャラクタオブジェクトは、トラッキングセンサ３６ａに対するアクターＡ１の位置に合致するように仮想空間内に配置され、第２キャラクタオブジェクトは、トラッキングセンサ３６ａに対するアクターＡ２の位置に合致するように仮想空間内に配置される。したがって、トラッキングセンサ３６ａの位置または向きを変更することにより、仮想空間内における第１キャラクタオブジェクトおよび第２キャラクタオブジェクトの位置および向きを変化させることができる。

一態様において、動画生成部２１ｄは、トラッキングセンサ３６ａのトラッキング情報に基づいて仮想空間を構築する。例えば、動画生成部２１ｄは、トラッキングセンサ３６ａのトラッキング情報に基づいて仮想カメラの設定情報（仮想空間内における位置、注視位置、注視方向、および画角）を定め、この仮想カメラの設定情報に基づいて仮想空間全体のうちの描画領域を定め、この仮想空間の描画領域を表示するための動画情報を生成する。

動画生成部２１ｄは、トラッキングセンサ３６ａのトラッキング情報に代えて、または、トラッキングセンサ３６ａのトラッキング情報に加えて、トラッキングセンサ３６ｂのトラッキング情報に基づいて、仮想空間内における第１キャラクタオブジェクトおよび第２キャラクタオブジェクトの位置および向き、並びに、仮想カメラの設定情報を定めるように構成されてもよい。

動画生成部２１ｄは、生成した動画に、スタジオユニット３０のマイクから取得したアクターＡ１およびアクターＡ２の音声を合成することができる。

以上のようにして、動画生成部２１ｄは、アクターＡ１の体および表情の動きに同期して動く第１キャラクタオブジェクトのアニメーション、並びに、アクターＡ２の体および表情の動きに同期して動く第２キャラクタオブジェクトのアニメーションを生成し、このアニメーションにアクターＡ１およびアクターＡ２の音声が合成された配信用の動画を生成することができる。

動画配信部２１ｅは、動画生成部２１ｄにおいて生成された動画を配信する。この動画は、ネットワーク５０を介してクライアント装置１０ａ～クライアント装置１０ｃおよびこれら以外のクライアント装置に配信される。受信された動画は、クライアント装置１０ａ～クライアント装置１０ｃにおいて再生される。

この動画は、スタジオルームＲ内に設置されているクライアント装置（不図示）に配信され、このクライアント装置から短焦点プロジェクタを介してスクリーンＳに投影されてもよい。また、この動画は、サポーターコンピュータ４０に配信されてもよい。これにより、サポーターＢ１およびサポーターＢ２は、配信されている動画の視聴画面を確認することができる。

サーバ装置２０からクライアント装置１０ａに配信され、このクライアント装置１０ａにおいて再生されている動画の表示例が図６に示されている。図示のように、サーバ装置２０から配信された動画の表示画像７０は、クライアント装置１０ａのディスプレイに表示される。このクライアント装置１０ａに表示されている表示画像７０は、仮想空間内に、アクターＡ１に対応するキャラクタオブジェクト７１Ａと、アクターＡ２に対応するキャラクタオブジェクト７１Ｂと、テーブルを示すオブジェクト７２と、が含まれている。オブジェクト７２は、ギフトオブジェクトではなく、オブジェクトデータ２３ｂに含まれている仮想空間を構築するためのオブジェクトの一つである。キャラクタオブジェクト７１Ａは、アクターＡ１の第１ボディモーションデータおよび第１フェイスモーションデータをモデルデータ２３ａに含まれているアクターＡ１用のモデルデータに適用することにより生成される。キャラクタオブジェクト７１Ａは、第１ボディモーションデータおよび第１フェイスモーションデータに基づいてモーション制御される。キャラクタオブジェクト７１Ｂは、アクターＡ２の第２ボディモーションデータおよび第２フェイスモーションデータを、モデルデータ２３ａに含まれているアクターＡ２用のモデルデータに適用することにより生成される。キャラクタオブジェクト７１Ｂは、第２ボディモーションデータおよび第２フェイスモーションデータに基づいてモーション制御される。したがって、キャラクタオブジェクト７１Ａは、アクターＡ１の体および表情の動きに同期して画面内で動くように制御され、キャラクタオブジェクト７１Ｂは、アクターＡ２の体および表情の動きに同期して画面内で動くように制御される。

上記のように、サーバ装置２０からの配信動画は、サポーターコンピュータ４０に配信されてもよい。サポーターコンピュータ４０に配信された動画は、サポーターコンピュータ４０において図６と同様に表示される。サポーターＢ１およびサポーターＢ２は、サポーターコンピュータ４０において再生されている動画を見て、スタジオユニット３０の構成要素の設定を変更することができる。一態様において、サポーターＢ１およびサポーターＢ２は、配信中の動画においてキャラクタオブジェクト７１Ａおよびキャラクタオブジェクト７１Ｂのアングルを変更したい場合には、トラッキングセンサ３６ａの向きの変更を指示する指示信号をサポーターコンピュータ４０からトラッキングセンサ３６ａに送信することができる。トラッキングセンサ３６ａは、当該指示信号に応じて、その向きを変更することができる。例えば、トラッキングセンサ３６ａは、スタンドにその軸周りにアクチュエータを内蔵した回動機構を介して回動可能に取り付けられており、トラッキングセンサ３６ａがその向きの変更を指示する指示信号を受信すると、当該指示信号に基づいて当該回動機構のアクチュエータが駆動され、当該指示信号に応じた角度だけトラッキングセンサ３６ａが回動されてもよい。一態様において、サポーターＢ１およびサポーターＢ２は、トラッキングセンサ３６ａからのトラッキング情報に代えて、トラッキングセンサ３６ｂからのトラッキング情報を用いるための指示をサポーターコンピュータ４０からトラッキングセンサ３６ａおよびトラッキングセンサ３６ｂに送信してもよい。

一態様において、サポーターＢ１およびサポーターＢ２は、サポーターコンピュータ４０にて再生されている動画を見てアクターＡ１またはアクターＡ２に対する指示が必要と判断した場合には、その指示を示すメッセージをサポーターコンピュータ４０に入力し、このメッセージをディスプレイ３９に出力することができる。例えば、サポーターＢ１およびサポーターＢ２は、このディスプレイ３９に表示されるメッセージを通じて、アクターＡ１またはアクターＡ２に対して立ち位置の変更を指示することができる。

表示要求処理部２１ｆは、視聴ユーザのクライアント装置からギフトオブジェクトの表示要求を受け付け、当該表示要求に応じた処理を行う。各視聴ユーザは、自らのクライアント装置を操作することにより、ギフトオブジェクトの表示要求をサーバ装置２０に送信することができる。例えば、第１視聴ユーザは、クライアント装置１０ａを操作することにより、ギフトオブジェクトの表示要求をサーバ装置２０に送信することができる。ギフトオブジェクトの表示要求には、視聴ユーザのユーザＩＤと、表示を要求するオブジェクトを特定する識別情報（オブジェクトＩＤ）が含まれてもよい。

一態様において、表示要求処理部２１ｆは、視聴ユーザから特定の多面体オブジェクトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求された多面体オブジェクトを動画７０に表示させるための処理を行う。例えば、六面体のサイコロを示す多面体オブジェクトの表示要求がなされた場合には、表示要求処理部２１ｆは、図７に示すように、当該表示要求に基づいてサイコロを示す多面体オブジェクト７４を表示画像７０に表示させる。

多面体オブジェクト７４の表示要求には、仮想空間内における当該多面体オブジェクト７４の表示位置の範囲を指定する範囲指定パラメータが含まれてもよい。この場合、表示要求処理部２１ｆは、仮想空間内の範囲指定パラメータによって指定された位置に多面体オブジェクト７４を表示することができる。例えば、範囲指定パラメータによって、テーブルを示すオブジェクト７２の上を多面体オブジェクト７４の表示位置として指定することができる。視聴ユーザは、範囲指定パラメータを用いることにより、動画７０に含まれているキャラクタオブジェクト７１Ａ、キャラクタオブジェクト７１Ｂ、ギフトオブジェクト、およびこれら以外のオブジェクトの表示を見て、多面体オブジェクトを表示したい位置の範囲を指定することができる。

一態様において、多面体オブジェクト７４は、動画の表示画像７０内で移動するように表示されてもよい。例えば、通常オブジェクト７４は、画面の上から下に向かって落下し、床面を転がるように表示されてもよい。多面体オブジェクト７４の画面内での移動方向は任意に設定され得る。例えば、多面体オブジェクト７４は、動画７０の左から右へ、右から左へ、左上から左下へ、またはこれら以外の方向に移動するように表示画像７０において表示されてもよい。多面体オブジェクト７４は、様々な軌道上を移動することができる。例えば、多面体オブジェクト７４は、直線軌道上、円軌道上、楕円軌道上、螺旋軌道上、またはこれら以外の軌道上を移動することができる。視聴ユーザは、多面体オブジェクトの表示要求に、範囲指定パラメータに加えてまたは範囲指定パラメータに代えて、多面体オブジェクト７４の移動方向を指定する移動方向パラメータおよび多面体オブジェクト７４が移動する軌道を指定する軌道パラメータの少なくとも一方を含めることができる。

一態様において、表示終了要求解析部２１ｇは、アクターの動作または音声に、多面体オブジェクトに対する表示終了要求が含まれるか否かを解析し、解析の結果、アクターの動作または音声に表示終了要求が含まれると解析された場合に、多面体オブジェクトの表示を終了する。

表示終了要求が含まれる動作は、予め定められており、例えば、多面体オブジェクトを払い退けたり、蹴飛ばしたりする動作とすることができるが、これらに限られるものではない。

表示終了要求が含まれる音声は、予め定められており、例えば、「サイコロ終わり」「次のサイコロ」などといった音声があげられるが、これらに限られるものではない。

多面体オブジェクトの各面に、アクターがリアクション可能な文字情報が表示されている場合には、表示停止要求は、アクターが一の面に表示された文字情報に対応するリアクションを行った際の動作または音声に含まれるものとすることができる。

具体的には、リアクションは、文字情報の読み上げ、文字情報が意味する内容への返答、文字情報が意味する内容に関する動作の少なくとも一つを含むことができる。

例えば、多面体オブジェクトの特定された一の面に「大好き」と記載されている場合には、「大好き」と読み上げた場合に、この音声に表示終了要求が含まれるとすることができる。

例えば、多面体オブジェクトの特定された一の面に「好きな食べ物」と記載されている場合には、「ハンバーグ」と返答した場合に、この音声に表示終了要求が含まれるとすることができる。

例えば、多面体オブジェクトの特定された一の面に「投げキッス」と記載されている場合には、投げキッスの動作をした場合に、この動作に表示終了要求が含まれるとすることができる。

このように、リアクションの動作または音声に表示終了要求を含ませることで、アクターが多面体オブジェクトを消すためだけの動作または発言を行うことなく、さりげなく表示終了要求を行うことができるため、動画のクオリティを上げることができる。

表示停止要求は、アクターによる所定の第一の動作、および、当該第一の動作から所定時間内に行われた第二の動作を含むセットに含まれることができる。

例えば、手のひらをグ－にする動作から所定時間内の手のひらをパーにする動作をセットとして表示停止要求とすることができる。この時、手のひらをグーにする動作が第一の動作であり、手のひらをパーにする動作が第二の動作である。

これらの動作は予め設定しておくことができ、アクトに支障のない動作を設定しておくことで、表示停止要求をさりげなく行うことができる。

表示停止要求は、アクターによる所定の第一の音声、および、当該第一の音声から所定時間内に行われた第二の音声を含むセットに含まれることができる。

例えば、「サイコロ」という音声から所定時間内の「終わり」という音声をセットとして表示停止要求とすることができる。この時、「サイコロ」という音声が第一の音声であり、「終わり」という音声が第二の音声である。

なお、所定時間は数秒程度とするのが好ましい。

このように、表示停止要求を単一の動作や音声ではなく複数の動作や音声のセットとすることで、誤ってアクトが指示と解析されることを防止することができる。

なお、これらのセットは２つの音声や動作に限られず、３以上の音声や動作であってもよい。また、音声と動作をセットとしてもよい。

また、これらのセットは、多面体オブジェクトの各面に対応付けられることができる。

具体的には、各面毎に上記セットが異なるものとなるよう設定されることができる。例えば、「投げキッス」と書かれた面に対応するセットとしては、第一の動作を手を口に当てる動作、第二の動作を手をカメラの方に向ける動作とし、「キス顔」と書かれた面に対応するセットとしては、第一の動作を目を閉じて唇を突き出す動作とし、第二の動作を目を開けて唇を通常の位置に戻す動作といったように、各面の内容に応じたセットが対応付けられる。

なお、これらのセットは視聴者以外の者（演者やサポータ）が設定することもできるし、予め運営側が設定しておくこともできる。あるいは、記載された内容に応じて自動的にコンピュータが動作を設定しておくこともできる。

また、一の面に表示された情報に基づいて、仮想空間内に所定の効果を発生させてもよい。具体的には、特定された一の面に「紙吹雪」と表示されていた場合には、所定の効果としては、上述のエフェクトオブジェクトで説明したような、紙吹雪などの視聴画面全体の印象に影響を与える効果を発生されせることができる。

さらに、一の視聴ユーザからの表示要求に基づいて、多面体オブジェクトを、動画内の仮想空間内に表示させている場合には、一の視聴ユーザおよび他の視聴ユーザからの表示要求に基づいて、多面体オブジェクトを、動画内の仮想空間内に表示させないものとすることができる。

具体的には、一の多面体オブジェクトの表示停止要求が行われるまでは、次の多面体オブジェクトが表示されないようにすることができる。

かかる構成により、アクターによる多面体オブジェクトに対するリアクションを確実なものとし、視聴ユーザのギフティングの意欲を向上させることができる。

あるいは、一の視聴ユーザからの表示要求に基づいて、多面体オブジェクトを、動画内の仮想空間内に表示させている場合には、一の視聴ユーザおよび他の視聴ユーザに対し、多面体オブジェクトを動画内の仮想空間内に表示させるための表示を行わないものとすることができる。

具体的には、視聴ユーザの視聴アプリにおいて、多面体オブジェクトをギフティングするためのボタンを表示させない、またはグレーアウトして選択できないようにするなどの構成とすることができる。

かかる構成により、他の視聴ユーザに不必要なアクションを行わせることを防ぐことができる。また、次に多面体オブジェクトをギフティング可能なタイミングを期待感をもって待つことができるため、視聴ユーザのギフティングの意欲を向上させることができる。

別の態様として、前のサイコロが表示されている場合であっても別の多面体オブジェクトをギフティングするためのボタンを選択できるようにし、何番目に表示されるかを表示する構成としてもよい。この表示は、ギフティングするためのボタンを押したときのほか、新しいサイコロが投じられるたびにカウントダウンする構成としてもよい。

かかる構成により、自分がギフティングした多面体オブジェクトがあと何番目に表示されるかを知ることができるため、視聴ユーザは安心して動画を楽しむことができる。

一態様において、オブジェクト購入処理部２１ｈは、動画の視聴ユーザからの要求に応じて、当該動画に関連して購入可能な複数のギフトオブジェクトの各々の購入情報を当該視聴ユーザのクライアント装置（例えば、クライアント装置１０ａ）に送信する。各ギフトオブジェクトの購入情報には、当該ギフトオブジェクトの種類（エフェクトオブジェクト、通常オブジェクト、または装飾オブジェクト）、当該ギフトオブジェクトの画像、当該ギフトオブジェクトの価格、およびこれら以外のギフトオブジェクトの購入に必要な情報が含まれ得る。視聴ユーザは、クライアント装置１０ａに表示されているギフトオブジェクトの購入情報に基づいて、購入するギフトオブジェクトを選択することができる。購入対象のギフトオブジェクトの選択は、クライアント装置１０ａの操作により行われてもよい。購入対象のギフトオブジェクトが視聴ユーザによって選択されると、当該ギフトオブジェクトの購入要求がサーバ装置２０に送信される。オブジェクト購入処理部２１ｈは、当該購入要求に基づいて、決済処理を行う。この決済処理が完了すると、当該購入されたギフトオブジェクトは、当該視聴ユーザによって保有される。この場合、保有リスト２３ｃに、購入した視聴ユーザのユーザＩＤと対応づけて、購入されたギフトオブジェクトのオブジェクトＩＤが記憶される。

購入可能なギフトオブジェクトは、動画ごとに異なっていてもよい。購入可能なギフトオブジェクトは、複数の動画において購入可能であってもよい。つまり、購入可能なギフトオブジェクトには、各動画に固有の固有ギフトオブジェクトと、複数の動画において購入可能な共通ギフトオブジェクトと、が含まれてもよい。例えば、紙吹雪を示すエフェクトオブジェクトは、複数の動画において購入可能な共通ギフトオブジェクトであってもよい。

一態様においては、所定の動画を視聴中に多面体オブジェクトを購入した場合、当該多面体オブジェクトを購入するための決済処理が完了したことに応じて、当該購入対象の多面体ギフトオブジェクトが当該視聴中の動画に自動的に表示されてもよい。

他の態様においては、購入対象のエフェクトオブジェクトについてオブジェクト購入処理部２１ｈにおける決済処理が完了したことに応じて、決済完了通知がクライアント装置１０ａに送信され、当該クライアント装置１０ａにおいて、購入された多面体オブジェクトの表示要求を行うか否かを視聴ユーザに確認するための確認画面が表示されてもよい。視聴ユーザが、当該購入された多面体オブジェクトについて表示要求を行うことを選択した場合には、当該購入された多面体オブジェクトの表示を要求する表示要求が、当該視聴ユーザのクライアント装置から表示要求処理部２１ｆに送信され、表示要求処理部２１ｆにおいて、当該購入対象の多面体オブジェクトを動画７０に表示させる処理が行われてもよい。

次に、図８および図９を参照して、一態様による動画配信処理について説明する。図８は、一実施形態における動画配信処理の流れを示すフロー図であり、図９は、一実施形態における多面体オブジェクトを表示する処理の流れを示すフロー図である。動画配信処理においては、スタジオルームＲにおいてアクターＡ１およびアクターＡ２がパフォーマンスを行っていることが想定されている。

まず、ステップＳ１１では、アクターＡ１およびアクターＡ２の体の動きのデジタル表現であるボディモーションデータと、アクターＡ１およびアクターＡ２の顔の動き（表情）のデジタル表現であるフェイスモーションデータと、が生成される。ボディモーションデータの生成は、例えば、上記のボディモーションデータ生成部２１ａで行われ、フェイスモーションデータの生成は、例えば、上記のフェイスモーションデータ生成部２１ｂで行われる。

次に、ステップＳ１２において、アクターＡ１のボディモーションデータおよびフェイスモーションデータを、アクターＡ１用のモデルデータに適用することにより、アクターＡ１の体および表情の動きに同期して動く第１キャラクタオブジェクトのアニメーションが生成される。同様に、アクターＡ２のボディモーションデータおよびフェイスモーションデータを、アクターＡ２用のモデルデータに適用することにより、アクターＡ２の体および表情の動きに同期して動く第２キャラクタオブジェクトのアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部２１ｃで行われる。

次に、ステップＳ１３において、アクターＡ１に対応する第１キャラクタオブジェクトのアニメーションと、アクターＡ２に対応する第２キャラクタオブジェクトのアニメーションと、を含む動画を生成する。この動画には、アクターＡ１およびアクターＡ２の音声が合成されてもよい。第１キャラクタオブジェクトのアニメーションおよび第２キャラクタオブジェクトのアニメーションは、仮想空間内に配置されてもよい。この動画の生成は、例えば、上記の動画生成部２１ｄで行われる。

次に、ステップＳ１４に移行し、ステップＳ１３にて生成された動画が配信される。この動画は、ネットワーク５０を介してクライアント装置１０ａ～クライアント装置１０ｃおよびこれら以外のクライアント装置に配信される。この動画は、サポーターコンピュータ４０に配信され、また、スタジオルームＲ内のスクリーンＳに投影されてもよい。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、３０秒間、１分間、５分間、１０分、３０分間、６０分間、１２０分間、およびこれら以外の任意の時間に定め得る。

次に、ステップＳ１５に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、サポーターコンピュータ４０により配信を終了するための指示がなされたこと、またはこれら以外の条件である。終了条件が成就していなければステップＳ１１～Ｓ１４の処理が繰り返し実行され、アクターＡ１およびアクターＡ２の動きに同期したアニメーションを含む動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。

次に、図９をさらに参照して、動画の配信中に行われる特定オブジェクトの表示処理について説明する。特定オブジェクトの表示処理は、図８に示した動画の配信処理と並行して行われる。

動画の配信中に、ステップＳ２１において、通常オブジェクトの表示要求がなされたか否かが判定される。例えば、第１視聴ユーザは、自らが保有する通常オブジェクトの中から一の特定の特定オブジェクトを選択し、この選択された特定オブジェクトの表示を要求する表示要求をクライアント装置１０ａからサーバ装置２０に対して送信することができる。上述したように、所定の特定オブジェクトの購入処理又は決済処理がなされたことに応じて、当該所定の特定オブジェクトの表示要求が生成されてもよい。

特定オブジェクトの表示要求がなされた場合には、当該表示処理はステップＳ２２に進む。ステップＳ２２においては、当該表示要求に基づいて、表示が要求された特定オブジェクトを配信中の動画に表示させるための処理が行われる。例えば、所定の動画の配信中に特定オブジェクト７４の表示要求がなされると、図７に示されているように、当該動画の表示画面７０内に表示要求がなされた特定オブジェクト７４が表示される。

通特定常オブジェクトの表示要求がなされていない場合には、特定オブジェクトの表示処理は終了する。図９に示されている特定オブジェクトの表示処理は、動画の配信期間中に繰り返し行われる。

本発明の実施形態は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で様々な変更が可能である。例えば、配信される動画は、スタジオルームＲ以外で撮影および生成されてもよい。例えば、配信される動画を生成するための撮影は、アクターやサポーターの自宅で行われてもよい。

また、本発明の他の実施形態として、特定オブジェクトとして、多面体オブジェクトではなく、ガラポン抽選機から排出される球オブジェクトが表示され、この排出された球オブジェクトの一つ一つにアクターがリアクションすべき情報が表示され、この球オブジェクトの表示を終了する実施形態に適用することも可能である。

本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程（ステップ）の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、および／又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。

１ 動画配信システム

Claims (13)

1. アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションおよびギフトオブジェクトを含む動画に関する情報を配信する動画配信システムであって、
   前記ギフトオブジェクトは、複数の面を有する多面体オブジェクトを含み、
   前記動画配信システムは、一又は複数のコンピュータプロセッサを備え、
   前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
   視聴ユーザからの表示要求に基づいて、前記多面体オブジェクトを、前記動画内の仮想空間内を転がるように、かつ、予め定められた所定の確率で特定された少なくとも一の面が前記アクターに識別可能に停止するように表示させ、
   前記アクターの動作または音声に、前記多面体オブジェクトの表示終了要求が含まれるか否かを解析し、
   前記解析の結果、前記アクターの動作または音声に前記表示終了要求が含まれると解析された場合に、前記多面体オブジェクトの表示を終了する動画配信システム。
2. 前記多面体オブジェクトの各面には、前記アクターがリアクションすべき情報が表示され、
   前記表示終了要求は、前記一の面に表示された情報に対応するリアクションであることを特徴とする請求項１に記載の動画配信システム。
3. 前記リアクションは、前記情報の読み上げ、前記情報が意味する内容への返答、前記情報が意味する内容に関する動作の少なくとも一つを含むことを特徴とする請求項２に記載の動画配信システム。
4. 前記表示終了要求は、所定の第一の動作、および、当該第一の動作から所定時間内に行われた第二の動作のセットであることを特徴とする請求項１に記載の動画配信システム。
5. 前記表示終了要求は、所定の第一の音声、および、当該第一の音声から所定時間内に行われた第二の音声を含むセットであることを特徴とする請求項１に記載の動画配信システム。
6. 前記セットは、前記多面体オブジェクトの各面に対応付けられて定められることを特徴とする請求項４または５に記載の動画配信システム。
7. 前記多面体オブジェクトが停止して表示された際、前記仮想空間を撮影する仮想カメラが移動することにより、前記一の面をズーム表示することを特徴とする請求項１から６のいずれか一項に記載の動画配信システム。
8. 前記多面体オブジェクトが停止して表示された際、前記一の面に表示された情報は、前記多面体オブジェクトとは別に前記動画内の所定位置にテキスト表示されることを特徴とする請求項２または３に記載の動画配信システム。
9. 前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
   前記一の面に表示された情報に基づいて、仮想空間内に所定の効果を発生させることを特徴とする請求項１から８のいずれか一項に記載の動画配信システム。
10. 前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
    一の視聴ユーザからの表示要求に基づいて、前記多面体オブジェクトを、前記動画内の仮想空間内に表示させている場合には、
    前記一の視聴ユーザおよび他の視聴ユーザからの表示要求に基づいて、前記多面体オブジェクトを、前記動画内の仮想空間内に表示させないことを特徴とする請求項１から９に記載の動画配信システム。
11. 前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
    一の視聴ユーザからの表示要求に基づいて、前記多面体オブジェクトを、前記動画内の仮想空間内に表示させている場合には、
    前記一の視聴ユーザおよび他の視聴ユーザに対し、前記多面体オブジェクトを前記動画内の仮想空間内に表示させるための表示を行わないことを特徴とする請求項１から９のいずれか一項に記載の動画配信システム。
12. アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションおよびギフトオブジェクトを含む動画に関する情報を配信する動画配信方法であって、
    前記ギフトオブジェクトは、複数の面を有する多面体オブジェクトを含み、
    視聴ユーザからの表示要求を受け付ける工程と
    視聴ユーザからの表示要求に基づいて、前記多面体オブジェクトを、前記動画内の仮想空間内を転がるように、かつ、予め定められた所定の確率で特定された少なくとも一の面が前記アクターに識別可能に停止するように表示させる工程と、
    前記アクターの動作または音声に、前記多面体オブジェクトの表示終了要求が含まれるか否かを解析する工程と、
    前記解析の結果、前記アクターの動作または音声に前記表示終了要求が含まれると解析された場合に、前記多面体オブジェクトの表示を終了する工程と、
    を備える動画配信方法。
13. アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションおよびギフトオブジェクトを含む動画に関する情報を配信する動画配信プログラムであって、
    前記ギフトオブジェクトは、複数の面を有する多面体オブジェクトを含み、
    前記動画配信プログラムは、一又は複数のコンピュータプロセッサに、
    視聴ユーザからの表示要求を受け付ける工程と
    視聴ユーザからの表示要求に基づいて、前記多面体オブジェクトを、前記動画内の仮想空間内を転がるように、かつ、予め定められた所定の確率で特定された少なくとも一の面が前記アクターに識別可能に停止するように表示させる工程と、
    前記アクターの動作または音声に、前記多面体オブジェクトの表示終了要求が含まれるか否かを解析する工程と、
    前記解析の結果、前記アクターの動作または音声に前記表示終了要求が含まれると解析された場合に、前記多面体オブジェクトの表示を終了する工程と、
    を実行させる動画配信プログラム。

Images