以下、図面を参照して、本発明の実施の形態に係る動画配信システムについて説明する。
図1に示すように、動画配信システム1は、クライアント装置10と、サーバ20と、スタジオユニット30とを備える。クライアント装置10と、サーバ20と、スタジオユニット30とは、ネットワーク11を介して相互に通信可能に接続されている。ネットワーク11は、ローカルエリアネットワーク、インターネット等、各種のネットワークを含む。
動画配信システム1では、配信者が、スタジオユニット30を利用してアクターの動きに基づくキャラクタオブジェクトのアニメーションを含むコンテンツの動画を作成する。キャラクタオブジェクトは、仮想的な人物、動物等の個体である。作成された動画は、サーバ20を介して、視聴ユーザが用いるクライアント装置10に配信される。配信者は、アクター、スタジオユニット30の運営者、又はそれら以外の者であってもよい。
図2に従って、スタジオユニット30の概要について説明する。スタジオユニット30は、トラッキングシステム31、コントローラ40、メインディスプレイ41、サブディスプレイ43(表示装置)、マイク44(図3参照)、サポーターコンピュータ45を含む。
トラッキングシステム31は、アクターAの動きに関する情報を取得する。アクターAは、例えば、パフォーマンスを行う人間、動物、または運動する物体である。アクターAは、例えば、自立運動可能なロボットであってもよい。スタジオルームR内のアクターの数は、複数であってもよい。
トラッキングシステム31は、アクターAの位置を検出する。また、トラッキングシステム31は、アクターAの表情、及び仮想空間に設定された仮想カメラの位置等を検出し得る。例えば、トラッキングシステム31は、外部センサ32、装着センサ33及び位置特定装置35部を含む。これらは、アウトサイドイン方式で、アクターAが装着する装着センサ33の向き及び位置の少なくとも一つを検出する。
装着センサ33は、アクターAに装着される。アクターAに装着される装着センサ33は、複数である。例えば、装着センサ33は、アクターAの左手首、右手首、左足甲、右足甲、腰部及び頭頂に装着されている。装着センサ33は、装着具を介してアクターAに装着されてもよいし、装着センサ33が装着された着衣をアクターAが着てもよい。装着センサ33は、アクターAの様々な部位に装着され得る。例えば、装着センサ33は、手の指に装着し、指の動きを検出するものであってもよい。アクターAに装着される装着センサ33の個数は、5つ以下でもよいし7以上であってもよい。
装着センサ33は、外部センサ32と協働して、自らの向き及び位置を特定するための情報を、位置特定装置35に出力する。アウトサイドイン方式における外部センサ32の一つとして、例えば、多軸レーザエミッターがある。外部センサ32は、同期用のパルスレーザ光を出射する。装着センサ33は、レーザ光を検出するセンサを備え、同期パルスで同期をとりつつ、自らの位置及び向きを検出する。装着センサ33は、例えば、HTC Corporation(登録商標)から提供されているVive Tracker(登録商標)及びVive Base Stationを用いることができる。また、上記の構成に加えて若しくは代えて、装着センサ33は、自律して位置を特定するためのセンサを内蔵していてもよい。例えば、装着センサ33は、多軸加速度センサ、ジャイロ、及び地磁気センサのうち少なくとも一つを備えていてもよい。また、装着センサ33は、外部センサ32と協働するものと、外部センサ32と協働しないものの両方を用いてもよい。また、装着センサ33は、単体でその向き又は位置を検出できるものであってもよい。
また、トラッキングシステム31は、視点位置センサ36及びカメラ37を含む。視点位置センサ36は、ユーザによりその位置を変更可能に構成されている。視点位置センサ36は、装着センサ33と同様の構成である。視点位置センサ36は、無線通信又は通信ケーブルを介して、位置特定装置35に自らの向き及び位置を特定するための情報を出力する。視点位置センサ36は、仮想空間内の仮想カメラの視点として設定される。視点位置センサ36は、例えば、視点位置センサ36は、スタンドに支持されてもよいし、ジンバル又はスタビライザーで支持されてもよい。ジンバルは、アクター又はその他の人物によって把持可能な形状に構成されてもよい。視点位置センサ36をジンバルまたはスタビライザーで支持することにより、手ぶれを抑制することが可能となる。
カメラ37は、アクターAの顔を撮像できるように配置されている。例えば、カメラ37は、アクターAの頭部や首等に取り付けられるか、又はアクターAの正面に配置されている。カメラ37は、アクターAの顔を連続的に撮像し、アクターAの顔の撮像データを取得し、当該撮像データをサーバ20に送信する。カメラ37は、人物の顔の奥行きを検出可能な3Dカメラであってもよい。
マイク44は、アクターAが発する音声を集めることができる位置に配置されている。例えば、マイク44は、アクターAの頭部や首等に取り付けられるか、又はアクターAの正面に配置されている。マイク44は、音声に応じた信号をサーバ20に送信する。
コントローラ40は、アクターAにより操作される。コントローラ40は、アクターAの操作に応じたコントロール信号をサーバ20に出力する。また、コントローラ40は、自律して位置を特定するためのセンサを内蔵していてもよい。例えば、コントローラ40は、多軸加速度センサ、ジャイロ、及び地磁気センサのうち少なくとも一つを備えていてもよい。また、コントローラ40は、上記の構成に加えて若しくは代えて、外部センサ32と協働して位置を検出可能に構成されていてもよい。
メインディスプレイ41は、サーバ20によって生成された動画を表示するように構成される。メインディスプレイ41は、1台でもよく、図示のように複数台でもよい。メインディスプレイ41に表示される動画には、キャラクタオブジェクトのアニメーションが含まれる。
サブディスプレイ43は、サーバ20又はサポーターコンピュータ45から受信した情報を表示するように構成される。サブディスプレイ43は、1台でもよく複数台でもよい。サーバ20又はサポーターコンピュータ45からメインディスプレイ41に送信される情報は、例えば、テキスト情報、画像情報、及びこれら以外の各種情報を含み得る。メインディスプレイ41及びサブディスプレイ43は、アクターAによって視認可能な位置に配置される。
サポーターコンピュータ45は、スタジオルームの隣にいるオペレータ(本明細書では、「サポーター」という)が用いるコンピュータである。サポーターコンピュータ45が設置されている部屋とスタジオルームRとはガラス窓によって隔てられているため、サポーターコンピュータ45を用いるサポーターは、アクターAを視認できる。図示の実施形態では、サポーターB1及びサポーターB2が在室している。サポーターコンピュータ45は、サポーターの操作に従って、サブディスプレイ43に各種情報を出力する。本明細書においては、サポーターB1とサポーターB2とを互いに区別する必要がない場合には、サポーターB1及びサポーターB2を「サポーター」と総称することがある。図2に示されているスタジオユニット30の構成要素及び機能は例示である。本発明に適用可能なスタジオユニット30は、図示されていない様々な構成要素を備え得る。例えば、スタジオユニット30は、プロジェクタを備えていてもよい。当該プロジェクタは、クライアント装置10またはそれ以外のクライアント装置に配信される動画をスクリーンに投影することができる。
図3に従って、サーバ20について説明する。サーバ20は、アクターの動作に基づくキャラクタオブジェクトのアニメーションを含む動画を、視聴ユーザに配信するように構成される。この動画に含まれるキャラクタオブジェクトは、仮想空間内でモーション制御されてもよい。サーバ20は、コンピュータプロセッサ21と、通信I/F22と、ストレージ23(記憶媒体)とを備えている。
コンピュータプロセッサ21は、ストレージ23又はそれ以外のストレージからオペレーティングシステムや多様な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ21は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ21は、自身が実行する処理の少なくとも一部を、ASIC、PLD、FPGA、MCU等の回路(circuitry)により実現してもよい。図3においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ21は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。本明細書において、コンピュータプロセッサ21によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ21によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより実行されてもよい。
コンピュータプロセッサ21は、ストレージ23又はそれ以外のストレージに格納された配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、モーションデータ処理部21A、動画生成部21B、動画配信部21C、ユーザリクエスト処理部21D、ユーザ情報管理部21E、購入処理部21Fとして機能する。コンピュータプロセッサ21により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21により実現される機能の少なくとも一部は、例えば、スタジオユニット30に含まれるコンピュータが有しているコンピュータプロセッサにより実現されてもよい。
モーションデータ処理部21Aは、アクターに装着された装着センサ33の各々により検出されたトラッキング情報に基づいて、ボディモーションデータを生成する。ボディモーションデータは、アクターの体の各部位における位置及び向きの少なくとも一つを、時系列的にデジタル表現したものである。ボディモーションデータは、時間の経過に伴って随時生成される。例えば、ボディモーションデータは、所定のサンプリング間隔ごとに生成されてもよい。
また、モーションデータ処理部21Aは、スタジオユニット30が有するカメラ37の撮影データに基づいて、アクターの顔の動きの時系列なデジタル表現であるフェイスモーションデータを生成する。フェイスモーションデータは、時間の経過に伴って随時生成される。例えば、フェイスモーションデータは、所定のサンプリング間隔ごとに生成されてもよい。
動画生成部21Bは、モーションデータ処理部21Aによって生成されたボディモーションデータ及びフェイスモーションデータを、ストレージ23に格納されたモデルデータ23Aに含まれる所定のモデルデータに適用する。これにより、動画生成部21Bは、仮想空間内で動き、且つ表情が変化するキャラクタオブジェクトのアニメーションを生成するように構成される。
さらに動画生成部21Bは、ストレージ23に格納されたオブジェクトデータ23Bを用いて仮想空間を構築し、この仮想空間の画像と、アクターAに対応するキャラクタオブジェクトのアニメーションと、を含む動画を生成する。動画生成部21Bは、視点位置センサ36の位置を、動画の視点である仮想カメラの位置とすることができる。そして、この仮想カメラの位置に対するアクターAの相対的な位置を、仮想空間内でのキャラクタオブジェクトの位置とする。したがって、アクターAが、視点位置センサ36の位置又は向きを、任意の位置又は向きに変更することにより、キャラクタオブジェクトを左側から見た動画、右側から見た動画、俯瞰した動画等、バリエーションに富んだ動画を生成することができる。また、動画生成部21Bは、仮想カメラの位置に基づき、仮想カメラの設定情報(焦点、画角等)を変更してもよい。
また、動画生成部21Bは、視聴ユーザに、各自のアバターの描画データが関連付けられている場合には、キャラクタオブジェクトのアニメーションに加え、視聴ユーザのアバターのアニメーションを表示してもよい。当該アバターは、視聴ユーザによるクライアント装置10への指示に基づいて、動画内で、動くように表示されてもよい。
動画配信部21Cは、配信動画のリストをクライアント装置10に送信するとともに、動画生成部21Bによって生成された動画を配信する。動画配信部21Cは、スタジオルームRで撮影された動画をリアルタイムに配信してもよいし、予め録画した動画を、配信スケジュール等に従って配信するようにしてもよい。動画配信部21Cは、同じ時間帯に、複数の動画を配信可能に構成され得る。例えば、動画配信部21Cは、アクターA1が演じる「キャラクタX」の配信動画と、アクターA2が演じる「キャラクタY」の配信動画とを、同じ配信開始時刻(例えば「20:00」)、又は配信時間帯を重複させて配信し得る。動画配信部21Cは、クライアント装置10からのリスト表示要求に応じて、配信可能な配信動画のリストを当該クライアント装置10に送信する。動画配信部21Cは、クライアント装置10から動画配信要求を受信すると、動画配信要求に基づいて、選択された動画を当該クライアント装置10に送信する。
ユーザリクエスト処理部21Dは、視聴ユーザのクライアント装置10から、オブジェクトの表示要求、及び投稿メッセージの表示要求を受け付け、当該表示要求に応じた処理を行う。視聴ユーザは、自らのクライアント装置10を操作することにより、オブジェクトの表示要求をサーバ20に送信することができる。オブジェクトは、視聴者からコンテンツへ提供するギフトオブジェクトを含む。ギフトオブジェクトは、視聴ユーザからアクター等へのデジタル的なギフトとなるオブジェクトである。ギフトオブジェクトは、対価を払わずに表示要求を行うことのできるものであってもよく、対価が必要なものであってもよく、表示要求に応じて表示がなされた場合に対価を支払うものであってもよい。ギフトオブジェクトは、仮想空間に継続的に表示されるものであってもよく、仮想空間に一時的に演出を加えるものであってもよい。ギフトオブジェクトの表示要求には、視聴ユーザのユーザIDと、表示要求の対象であるオブジェクトの識別情報(オブジェクトID)が含まれてもよい。
ユーザリクエスト処理部21Dは、視聴ユーザからギフトオブジェクトの表示要求を受け付けると、そのギフトオブジェクトが、アクター又はサポーターの表示の可否についての判断を要するものか否かを判定する。ユーザリクエスト処理部21Dは、表示要求が行われたオブジェクトが、アクター又はサポーターの判断を要しないものと判定すると、動画生成部21Bを介して、仮想空間に、表示要求が行われたオブジェクトを表示させる。
一方、ユーザリクエスト処理部21Dは、表示要求が行われたオブジェクトが、アクター又はサポーターの判断を要するものであると判定すると、サブディスプレイ43に、表示要求が行われたギフトオブジェクトを表示する。アクター又はサポーターにより、表示要求が行われたギフトオブジェクトに対し表示指示がなされると、表示要求が行われたオブジェクトを表示させる。
また、ユーザリクエスト処理部21Dは、クライアント装置10から受信した投稿メッセージを動画に表示させるための処理を行う。投稿メッセージには、メッセージの内容の他、視聴ユーザの識別情報(ユーザID又は端末ID)、投稿日時が含まれる。
ユーザリクエスト処理部21Dは、投稿メッセージを受信すると、投稿メッセージを表示可能な場面か否かを判断する。ユーザリクエスト処理部21Dは、受信した投稿メッセージを表示可能であると判断すると、動画生成部21Bを介して、動画のうち所定の領域に投稿メッセージを表示させる。また、ユーザリクエスト処理部21Dは、投稿メッセージ、投稿メッセージの属性情報を、サブディスプレイ43に表示する。
ユーザ情報管理部21Eは、視聴ユーザの視聴状況を取得し、視聴状況を視聴ユーザに関連付けてストレージ23に記憶する。ユーザ情報管理部21Eは、視聴ユーザが、視聴アプリケーションにおいて視聴している動画、すなわち視聴ユーザが「入室」しているアクターの「部屋」を視聴ユーザのユーザIDと関連付けて履歴として記憶する。また、ユーザ情報管理部21Eは、視聴ユーザの視聴状況等に応じて、視聴ユーザをグループ化する。
購入処理部21Fは、視聴ユーザの操作により、配信動画に関連するギフトオブジェクト等の購入媒体の表示要求を、クライアント装置10から受け付ける。購入処理部21Fは、購入媒体の表示要求を受け付けた後、購入媒体の情報をクライアント装置10に送信する。購入媒体の情報には、購入媒体の種類、購入媒体の画像、価格、及び購入に必要な各種の情報が含まれ得る。視聴ユーザは、クライアント装置10に表示された購入媒体の情報を確認して、任意の購入媒体を選択する。視聴ユーザによって購入媒体が選択されると、クライアント装置10は、購入媒体の購入要求をサーバ20に送信する。購入処理部21Fは、購入要求に基づいて、決済処理を行う。この決済処理が完了すると、購入された購入媒体は、視聴ユーザによって保有されるものとしてサーバ20に記憶される。なお、購入媒体は、ギフトオブジェクトの他、動画の視聴に関連するギフトオブジェクト以外のオブジェクトや、動画の画質、2次元画像又は3次元画像等の視聴条件であってもよい。また、購入媒体は、動画自体であってもよい。購入可能なギフトオブジェクトやその他の媒体の売上は、配信者に分配される。このとき、売上の一部をスタジオユニット30の運営者に分配してもよい。
通信I/F22は、ハードウェア、ファームウェア、又はTCP/IPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ20は、通信I/F22を介して、他の装置とデータを送受信することができる。
ストレージ23は、コンピュータプロセッサ21によりアクセスされる記憶装置である。ストレージ23は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ23には、様々なプログラムが記憶され得る。ストレージ23に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ20とは物理的に別体のストレージに格納されてもよい。
次に、スタジオユニット30の位置特定装置35及びサポーターコンピュータ45についてさらに説明する。スタジオユニット30の位置特定装置35は、コンピュータプロセッサ35A、ストレージ35B(記憶媒体)、通信インターフェース(I/F)35Cを含む。コンピュータプロセッサ35Aは、サーバ20のコンピュータプロセッサ21と同様に、CPU等の各種の演算装置である。ストレージ35Bは、サーバ20のストレージ23と同様に、磁気ディスク等の各種記憶装置である。通信インターフェース(I/F)35Cは、サーバ20の通信インターフェース22と同様に、他の装置と通信を行うための各種ドライバ、ソフトウェア又はこれらの組み合わせである。コンピュータプロセッサ35Aは、ストレージ35B又はその他のストレージに格納された位置検出プログラムを実行することにより、外部センサ32又は装着センサ33からトラッキング情報を取得して、装着センサ33の各々の位置を特定する。また、コンピュータプロセッサ35Aは、ストレージ35B又はその他のストレージに格納された位置検出プログラムを実行することにより、外部センサ32又は視点位置センサ36からトラッキング情報を取得して、視点位置センサ36の位置を特定する。また、位置特定装置35は、特定した位置を、サーバ20に送信する。
サポーターコンピュータ45は、コンピュータプロセッサ46と、通信I/F47と、ストレージ48(記憶媒体)と、ディスプレイ49と、入力インターフェース50と、を備える。
コンピュータプロセッサ46は、サーバ20のコンピュータプロセッサ21と同様に、CPU等の各種演算装置である。通信I/F47は、通信I/F22と同様に、他の装置と通信を行うための各種ドライバ、ソフトウェア、またはこれらの組み合わせである。ストレージ48は、ストレージ23と同様に、磁気ディスク等のデータを記憶可能な各種記憶装置である。ストレージ48には、各種のプログラムが格納されている。ディスプレイ49は、液晶ディスプレイ、有機ELディスプレイ、無機ELディスプレイ、又はこれら以外の画像を表示可能な任意の表示装置である。入力インターフェース50は、マウス、キーボード等のサポーターからの入力を受け付ける任意のポインティングデバイスを含む。
コンピュータプロセッサ46は、ストレージ48等に格納されたプログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、表示制御部46A、進行管理部46Bとして機能する。コンピュータプロセッサ46により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ46以外のコンピュータプロセッサにより実現されてもよい。また、本明細書においてコンピュータプロセッサ46により実現される機能の少なくとも一部は、例えばサーバ20のコンピュータプロセッサ21により実現されてもよい。
表示制御部46Aは、サポーターによる入力インターフェース50を介した様々な操作入力に応じて、アクターが視認可能である一方で視聴ユーザが視認することのできない画面をメインディスプレイ41又はサブディスプレイ43に表示したり、視聴ユーザに配信される配信動画に様々な付加情報を付加したりするように構成される。
サポーターコンピュータ45は、サポーターの操作に応じて、スタジオユニット30の構成要素の設定を変更することができるように構成されてもよい。サポーターコンピュータ45は、例えば、外部センサ32による走査インターバルの設定、装着センサ33の位置または向きの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。サポーターは、サポーターコンピュータ45にメッセージを入力し、当該入力されたメッセージをメインディスプレイ41に表示することができる。
次に図4を参照して、クライアント装置について説明する。
クライアント装置10は、スマートフォンなどの情報処理装置である。クライアント装置10は、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ヘッドマウントディスプレイを含むウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。
クライアント装置10は、コンピュータプロセッサ12、ストレージ13(記憶媒体)、入力インターフェース(I/F)14、通信インターフェース(I/F)15、ディスプレイ16を含む。コンピュータプロセッサ12は、サーバ20のコンピュータプロセッサ21と同様に、CPU等の各種の演算装置である。ストレージ13は、サーバ20のストレージ23と同様に、磁気ディスク等の各種記憶装置である。ストレージ13には、サーバ20から配信された動画を視聴するためのアプリケーションプログラムが記憶されている。入力I/F14は、タッチパネル等の視聴ユーザからの入力を受け付ける任意の入力インターフェースである。通信I/F15は、通信I/F22と同様に、他の装置と通信を行うための各種ドライバ、ソフトウェア、またはこれらの組み合わせである。ディスプレイ16は、例えばタッチパネルと一体化された有機ELディスプレイ、液晶ディスプレイ、又はこれら以外の画像を表示可能な任意の表示装置である。
クライアント装置10は、入力I/F14を介して、視聴ユーザの操作を受け付けることにより、クライアント装置10に実装された視聴アプリケーションプログラムを起動する。視聴アプリケーションは、少なくとも視聴が可能であればよく、その他の機能を有していてもよい。コンピュータプロセッサ12は、視聴アプリケーションプログラムに含まれる読み取り可能な命令を実行して、サーバ20から、配信動画のリストを取得する。クライアント装置10は、送信されたリストをディスプレイに表示する。視聴ユーザは、リストに表示された動画から一つを選択する。クライアント装置10は、視聴ユーザの選択操作を受け付けると、選択された動画の配信を要求する動画配信要求をサーバ20に送信する。又は、クライアント装置10は、サーバ20にアクセスすることによって、ストレージ13に記憶されたウェブブラウザを起動させ、HTML、又はXML等のマークアップ言語で記述されたウェブページをディスプレイ16に表示するように構成されてもよい。ウェブページには、動画のリストが表示される。又は、クライアント装置10は、自身のストレージ13に記憶された視聴用プログラム及びウェブブラウザ(アプリ内ブラウザ)との両方を用いて、動画のリストを表示させてもよい。
クライアント装置10は、サーバ20から動画のデータを受信すると、受信したデータに基づいてディスプレイ16に動画を表示する。視聴ユーザは、クライアント装置10の入力I/F14を介して、配信された動画に関するメッセージを入力し、このメッセージをサーバ20に投稿することができる。各視聴ユーザから投稿されたメッセージは、動画に重畳して表示されてもよい。これにより、アクターと視聴ユーザとの交流、及び視聴ユーザ間の交流が図られる。
次に、サーバ20のストレージ23に格納された各種のデータについて説明する。ストレージ23には、モデルデータ23A、オブジェクトデータ23B、ユーザ管理データ23C、保有リスト23D、候補リスト23E、投稿メッセージ23Fが記憶されている。また、ストレージ23には、動画配信システム1が配信中の動画又は既に配信した動画が記憶され得る。
モデルデータ23Aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ23Aは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータ23Aは、例えば、キャラクタの骨格を示すリグデータ(「スケルトンデータ」と呼ばれることもある。)と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ23Aには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。図示の実施形態においては、アクターに対応するキャラクタオブジェクトを生成するために、モデルデータ23Aは、互いに異なる少なくとも2種類のモデルデータを有する。
オブジェクトデータ23Bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ23Bは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ23Bには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。
オブジェクトデータ23Bには、上記以外にも、クライアント装置10の視聴ユーザからの表示要求に基づいて動画に表示されるギフトオブジェクトが含まれ得る。ギフトオブジェクトには、エフェクトオブジェクトと、装飾オブジェクトと、通常オブジェクトとが含まれ得る。ギフトオブジェクトには、視聴ユーザが保有するための対価が必要なものと、対価が必要でないものが含まれ得る。購入可能なオブジェクトの数またはオブジェクトの購入金額に上限が設定されていてもよい。
エフェクトオブジェクトは、配信動画の視聴画面全体の印象に影響を与えるオブジェクトであり、例えば紙吹雪を模したオブジェクトや、花火を模したオブジェクト等である。紙吹雪を模したオブジェクトは、視聴画面全体に表示されてもよく、これにより表示の前後における視聴画面全体の印象を変えることができる。例えば、エフェクトオブジェクトは、運動する粒子により構成される一事象を表現するパーティクルシステムによって表現されてもよい。パーティクルシステムにおいては、粒子毎に表示時間が設定されていてもよい。エフェクトオブジェクトは、静的なオブジェクトであってもよいし、動的なオブジェクトであってもよい。エフェクトオブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。
装飾オブジェクトは、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示されるオブジェクトである。キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位に接するように表示画面に表示される。キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装飾オブジェクトは、当該キャラクタオブジェクトの当該特定の部位の一部又は全部を覆うように表示画面に表示される。
装飾オブジェクトは、例えば、キャラクタオブジェクトに装着されるアクセサリー(カチューシャ、ネックレス、イヤリングなど)、衣服(Tシャツなど)、コスチューム、及びこれら以外のキャラクラオブジェクトに装着可能なオブジェクトである。装飾オブジェクトに対応するオブジェクトデータ23Bには、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着位置情報が含まれてもよい。ある装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトのどの部位に装着されるかを示すことができる。例えば、装飾オブジェクトがカチューシャである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「頭部」に装着されることを示してもよい。装飾オブジェクトがTシャツである場合には、当該装飾オブジェクトの装着位置情報は、当該装飾オブジェクトがキャラクタオブジェクトの「胴部」に装着されることを示してもよい。
装飾オブジェクトは、サーバ20がストレージ23又はその他のストレージに記憶するリストに追加された後、アクター又はサポーターに選択されることによって、キャラクタオブジェクトに装着される。視聴ユーザは、自身が送信した装飾ギフトオブジェクトをキャラクタオブジェクトに装着してもらうことで、キャラクタオブジェクトに親近感を覚える。一方、視聴ユーザが装飾オブジェクトの表示要求を行っても、アクター又はサポーターに選択されなければ、当該装飾オブジェクトはキャラクタオブジェクトに装着されない。アクターが装飾オブジェクトを選択する場合には、アクターは、サブディスプレイ43に表示されるリストを確認し、コントローラ40等のポインティングデバイスを用いるか、又はサポーターへの指示によって装飾オブジェクトを選択する。また、サポーターは、サポーターコンピュータ45に表示されるリストを確認し、入力インターフェース50を用いて装飾オブジェクトを選択する。
通常オブジェクトは、仮想空間内に物体として配置される装飾オブジェクト以外のギフトオブジェクトであって、例えばぬいぐるみや花束を模したオブジェクトである。通常オブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装飾オブジェクトと異なっている。通常オブジェクトは、通常オブジェクトがアクターによってその位置を変更可能であるのに対し、エフェクトオブジェクトはアクターによってその位置が変更できない点で異なっていてもよい。また、通常オブジェクトとエフェクトオブジェクトは、表示時間が異なっていてもよい。
ギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよい。一態様において、装飾オブジェクトの表示時間は、エフェクトオブジェクトの表示時間又は通常オブジェクトの表示時間よりも長く設定されていてもよい。例えば、装飾オブジェクトの表示時間は60秒間に設定され、エフェクトオブジェクトの表示時間は5秒間に設定され、通常オブジェクトの表示時間は10秒間に設定されていてもよい。
図5に示すように、ユーザ管理データ23Cは、キャラクタオブジェクトのコンテンツ毎に、当該動画を視聴したことのある視聴ユーザに関する情報を記憶したものである。基本的に、コンテンツは、複数回に亘って配信される。例えば、「配信者A」は、「キャラクタP」を主人公とする「コンテンツP」を、複数回に亘って配信する。また、別の「配信者B」は、「キャラクタQ」を主人公とする「コンテンツQ」を、複数回に亘ってそれぞれ配信する。コンテンツは、キャラクタオブジェクト毎に異なるものとは限らない。例えば、同じキャラクタオブジェクトの動画でも、互いに関連しない場合には、それぞれ別のコンテンツを構成してもよい。ユーザ管理データ23Cは、初回のコンテンツの配信開始以降の視聴ユーザのアクティビティを記憶したものである。アクティビティは、コンテンツに対する視聴ユーザの活動であり、コンテンツの視聴履歴や、コンテンツへのメッセージの投稿状況、コンテンツへのギフトオブジェクトの提供状況、コンテンツへの課金状況等のうち少なくとも一つを含み得る。また、「視聴ユーザC」が、「コンテンツP」、及び「コンテンツQ」の両方を視聴したことがある場合には、「コンテンツP」における「視聴ユーザC」のアクティビティと、「コンテンツQ」における「視聴ユーザC」のアクティビティとがそれぞれ記憶される。
ユーザ管理データ23Cは、コンテンツの視聴ユーザ毎に、視聴ユーザの識別情報(ユーザID)、視聴ユーザが属するグループ、視聴ユーザの入室状態、視聴ユーザのランキング、視聴ユーザの課金状態を含み得る。
コンテンツに対応するグループは、当該コンテンツにおいて視聴ユーザが属するグループを示す。視聴ユーザを分けるグループは、複数であればよい。視聴ユーザは、視聴したことのあるコンテンツにおいて、そのアクティビティに関する条件に基づき、各グループに分けられる。グループを分ける条件は、配信者又はスタジオユニット30の運営者によって予め設定されるものであってもよい。例えば、コンテンツのアクティビティに関する条件に基づいて、視聴ユーザを、コンテンツの熱心なファンである視聴ユーザからなるグループと、初めて視聴する視聴ユーザ等、コンテンツへの関わりが小さい視聴ユーザからなるグループとに分けることができる。
グループを分ける条件は、当該コンテンツの視聴回数、当該コンテンツへの投稿メッセージの投稿回数、当該コンテンツへのギフトオブジェクトの送信回数、当該コンテンツへの課金額の少なくとも一つを含み得る。例えば、グループを分ける条件が視聴回数である場合、「コンテンツP」の視聴回数が所定回数(例えば10回)以上の視聴ユーザは第1グループ(例えば「VIPグループ」)に含め、視聴回数が所定回数未満の視聴ユーザは、第2グループに含める。また、グループを分ける条件がメッセージの投稿回数である場合、メッセージの投稿回数が所定回数(例えば20回)以上の視聴ユーザは第1グループに含め、メッセージの投稿回数が所定回数未満の視聴ユーザは第2グループに含める。グループを分ける条件が、ギフトオブジェクトの提供回数である場合、ギフトオブジェクトの提供回数が所定回数(例えば5回)以上の視聴ユーザは第1グループに含め、ギフトオブジェクトの提供回数が所定回数未満の視聴ユーザは第2グループに含める。グループを分ける条件が課金額である場合、課金額が所定の金額以上である視聴ユーザは第1グループに含め、課金額が所定の金額未満である視聴ユーザは第2グループに含める。また、コンテンツの視聴回数、コンテンツへの投稿メッセージの投稿回数、コンテンツへのギフトオブジェクトの送信回数、コンテンツへの課金額、及びその他の条件のうち複数を組み合わせて、グループ分けを行ってもよい。
グループ分けの条件は、上記の条件以外であってもよい。例えば、視聴用のアプリケーションの利用状況(利用頻度、利用年数、直近の利用日時)、ユーザの属性(年齢、性別、職業、居住地、利用言語等)であってもよい。また、これらの条件を組み合わせて、グループ分けを行ってもよい。
コンテンツと関連付けられた入室状態は、動画配信システム1にログインした状態で当該コンテンツを視聴中であるか否かを示すデータである。視聴ユーザのクライアント装置10に当該コンテンツが配信されている場合には、入室状態は「入室」を示すデータが記憶される。当該クライアント装置10に当該コンテンツが配信されていない場合には、入室状態には「退室」を示すデータが記憶される。なお、当該クライアント装置10に当該コンテンツが配信された後、動画の視聴を中断し、中断から所定時間が経過した場合に、「退室」を示すデータを記憶してもよい。一方、配信中の動画において、その配信回の最初からコンテンツを視聴していない場合には、「未視聴」等の「退室」以外のデータを記憶するようにしてもよい。
コンテンツと関連付けられたランキングは、当該コンテンツにおける視聴ユーザのランキングを示すデータである。順位の付与方法は、スタジオユニット30の運営者又は配信者が決定することができる。例えば、ランキングは、当該コンテンツの視聴回数、当該コンテンツへの投稿メッセージの投稿回数、当該コンテンツへのギフトオブジェクトの送信回数、当該コンテンツへの課金額等に応じて決められてもよい。ランキングは、当該コンテンツの全ての視聴ユーザを母集団としてもよいし、複数のグループのうち少なくとも1つ(例えば第1グループ)を母集団としてもよい。
コンテンツと関連付けられたランキングは、当該コンテンツにおける視聴ユーザの課金状態を示すデータである。課金状態は、「課金あり」、「課金なし」等のデータである。又は課金状態は、課金額であってもよい。
図6に示すように、保有リスト23Dは、視聴ユーザが保有するオブジェクトのリストである。保有リスト23Dは、ユーザIDに関連付けて、保有するオブジェクトの識別情報(オブジェクトID)を含み得る。視聴ユーザが保有するオブジェクトは、コンテンツ毎に異なっていてもよく、視聴ユーザが保有するオブジェクトは、異なるコンテンツの間で共通のものであってもよく、これらの両方を含んでいてもよい。コンテンツ毎にオブジェクトが異なる場合、視聴ユーザの保有リスト23Dは、コンテンツ毎にオブジェクトの識別情報が記憶される。この保有リスト23Dは、複数の動画配信に亘って継続的に記憶される。又は保有リスト23Dは、1回分のコンテンツを配信する度に新たに生成又はリセットされるものであってもよい。
図7に示すように、候補リスト23Eは、動画に関連付けられたギフトオブジェクトのリストである。候補リスト23Eは、動画の配信回毎に、生成又はリセットされることが好ましい。視聴ユーザが、動画にギフトオブジェクトの表示要求を送信すると、そのギフトオブジェクトに関する情報が候補リスト23Eに追加される。候補リスト23Eは、ギフトオブジェクトの送信元の視聴ユーザの識別情報(ユーザID)、ギフトオブジェクトの識別情報(オブジェクトID)、ギフトオブジェクトの種類(装飾オブジェクト、エフェクトオブジェクト、通常オブジェクト)、ギフトオブジェクトの送信日時、ギフトオブジェクトの選択状態を含み得る。ギフトオブジェクトの選択状態は、ギフトオブジェクトが装飾オブジェクトであった場合に、アクター又はサポーターによって装飾オブジェクトが選択されているか否かを示す。選択状態は、装飾オブジェクトが選択されている場合には、「選択」を示すデータが記憶され、装飾オブジェクトが選択されていない場合には「未選択」を示すデータが記憶される。ギフトオブジェクトが装飾オブジェクトではない場合には、「未選択」、又は、「未選択」及び「選択」以外のデータが記憶される。
図8に示すように、投稿メッセージ23Fは、視聴ユーザが動画に投稿したメッセージに関する情報を含み得る。投稿メッセージ23Fは、コンテンツ毎に、視聴ユーザの識別情報(ユーザID)、当該視聴ユーザが属するグループ、投稿メッセージの内容、メッセージを投稿した投稿日時を含み得る。視聴ユーザが属するグループは、ユーザ管理データ23Cに記憶されているため、これを省略してもよい。投稿メッセージ23Fは、1回分のコンテンツを配信する度に、新たに生成又はリセットされる。
次に、視聴ユーザ、アクター及びサポーターが確認する画面について、コンテンツの配信の流れとともに説明する。クライアント装置10は、視聴ユーザの操作により視聴アプリケーションプログラムが起動されると、サーバ20に対しコンテンツのリストを要求する。サーバ20は、コンテンツのリストを表示するための情報を、クライアント装置10に送信する。
図9に示すように、クライアント装置10のディスプレイ16には、コンテンツリスト画面100が表示される。コンテンツリスト画面100には、配信中又は配信予定のコンテンツのリストが表示されている。リストには、コンテンツの画像101の他、コンテンツの配信日時、コンテンツ名、コンテンツに出演するキャラクタの名前等が表示されている。
視聴ユーザは、リストの中から一つのコンテンツを選択する。クライアント装置10は、選択されたコンテンツの配信要求をサーバ20に送信する。
サーバ20は、コンテンツの配信要求をクライアント装置10から受信すると、当該クライアント装置10に、配信要求の対象のコンテンツを配信する。クライアント装置10は、コンテンツを受信すると動画を表示する。
図10に示すように、クライアント装置10のディスプレイ16には、動画視聴画面105が表示される。動画視聴画面105には、視点位置センサ36をカメラ視点とした仮想空間と、アクターの動作が反映されたキャラクタオブジェクト110が表示される。また、動画視聴画面105には、ギフト選択部112と、投稿選択部113とが表示されている。
視聴ユーザによって、動画視聴画面105のギフト選択部112が選択されると、クライアント装置10は、保有リスト23Dをサーバ20から取得する。又はクライアント装置10は、予めサーバ20から取得しストレージ13に記憶した保有リスト23Dを取得する。さらにクライアント装置10は、保有リスト23Dに基づいて、視聴ユーザが保有しているギフトオブジェクトをリストにして表示する。
視聴ユーザによってギフトオブジェクトのリストから通常オブジェクトが選ばれると、クライアント装置10からサーバ20へ、通常オブジェクトの表示要求が送信される。表示要求には、通常オブジェクトの識別情報(オブジェクトID)とユーザの識別情報(ユーザID)とが含まれる。なお、ギフトオブジェクトの表示要求には、ユーザの識別情報の送信が必要であるため、表示要求を送信する前に、動画配信システム1又は動画配信システム1と連携したその他のユーザ認証システムにログインする必要がある。
サーバ20は、通常オブジェクトの表示要求に応じて、表示要求を行った視聴ユーザ及びその他の視聴ユーザに配信される動画に通常オブジェクト111を表示させる。図示の実施形態では、複数種類の通常オブジェクト111A〜111Cが表示されている。通常オブジェクト111Aは、クマのぬいぐるみのオブジェクトであり、仮想空間内の所定位置に配置されている。この通常オブジェクト111Aは、例えばキャラクタオブジェクト110が把持する動作を行った場合等、キャラクタオブジェクト110との接触により、仮想空間内で移動可能であってもよい。通常オブジェクト111Bは、掛け軸のオブジェクトであり、仮想空間内の所定位置に表示される。通常オブジェクト111Cは、仮想空間内を移動可能なオブジェクトである。この通常オブジェクト111Cは、仮想空間内を移動した後、最終的に到達した位置に留まって表示されていてもよいし、画面から消えてもよい。
図11に示すように、通常オブジェクトの表示要求と同様に、視聴ユーザによってエフェクトオブジェクトの表示要求がなされた場合には、動画視聴画面105にエフェクトオブジェクトが表示される。図示の実施形態では、紙吹雪に対応するエフェクトオブジェクト115が表示されている。
図12に示すように、通常オブジェクトの表示要求と同様に、視聴ユーザによって装飾オブジェクトの表示要求がなされた場合には、動画視聴画面105に装飾オブジェクト120が表示される。装飾オブジェクト120は、キャラクタオブジェクトの特定の部位と関連付けて動画視聴画面105に表示される。装飾オブジェクト120は、キャラクタオブジェクトの特定の部位に接するように表示されてもよい。例えば、猫の耳を模した装飾オブジェクト120は、キャラクタオブジェクトの頭部中央に関連付けられているため、キャラクタオブジェクト110の頭部中央に装着される。キャラクタオブジェクト110が動くと、装飾オブジェクト120もキャラクタオブジェクト110に関連付けられたまま、キャラクタオブジェクト110に装着されているかのように頭部に付随して動く。
動画が投稿メッセージを投稿可能な期間を有している場合、動画を視聴しているいずれかの視聴ユーザによって投稿選択部113が投稿されると、動画視聴画面105とは別の画面又は動画視聴画面105内にメッセージ入力画面が表示される。入力画面においてメッセージが入力された場合には、投稿メッセージの情報がサーバ20へ送信される。
サーバ20は、投稿可能な期間内において投稿メッセージを受信した場合には、投稿メッセージを含んだ動画データをクライアント装置10に送信する。クライアント装置10は、動画視聴画面105内に投稿メッセージ130を表示させる。投稿メッセージ130は、所定のメッセージ表示領域131に表示される。投稿メッセージ130は、投稿された日時の順番に並んでいる。例えば最新の投稿メッセージ130は、メッセージ表示領域131の最上部に表示される。次に、サーバ20が新たな投稿メッセージを受信すると、最上部に表示されていた投稿メッセージ130を下に移動し、新たな投稿メッセージを最上部に表示する。メッセージ表示領域131の最下部に到達した投稿メッセージは、新たな投稿メッセージが最上部に追加されると、さらに下方に移動して表示されなくなる。又は、メッセージ表示領域131は、一つの投稿メッセージのみを表示可能であってもよい。
次に、スタジオルームRでアクターが確認する画面について説明する。
図13は、スタジオルームRに設置されたサブディスプレイ43に表示された通知画面200の例を示す。通知画面200には、アクターへの通知201が表示され得る。通知画面200を表示させるためのデータは、サポーターコンピュータ45が自動で生成するものであってもよく、サポーターの入力操作を必要とするものであってもよい。図示の実施形態では、通知201は、残り時間、スケジュール、アクターへ報知する情報等が表示される。アクターは、通知画面200を確認しつつ、パフォーマンスを行う。なお、通知201は、メインディスプレイ41の画面に、キャラクタオブジェクトのアニメーションと重畳して又は並べて表示してもよい。
図14は、サブディスプレイ43に表示されるギフトリスト画面210の例を示す。ギフトリスト画面210には、視聴ユーザから表示要求がなされたギフトオブジェクトを、視聴ユーザと対応付けて表示したリスト(オブジェクト情報)が表示されている。ギフトリスト画面210には、全ギフト一覧211、装着中ギフト一覧212(第1リスト)、及び未装着ギフト一覧213(第2リスト)が表示されている。
全ギフト一覧211には、動画配信中に視聴ユーザから表示要求が行われたギフトオブジェクトの画像、当該ギフトオブジェクトの名前、当該ギフトオブジェクトの表示要求を行った視聴ユーザの識別情報(ユーザのアカウント名又はユーザID)、装着状態を含み得る。全ギフト一覧211には、装飾オブジェクトに加え、その他の種類のギフトオブジェクトが含まれることが好ましい。なお、視聴ユーザの識別情報として、視聴ユーザのアバターが表示されてもよい。図示の実施形態においては、全ギフト一覧211には、通常オブジェクト、エフェクトオブジェクト、装飾オブジェクトの全種類のギフトオブジェクトが表示される。
全ギフト一覧211の「装着状態」は、全ギフト一覧211に表示されたギフトオブジェクトが装飾オブジェクトである場合に、キャラクタオブジェクトが装飾オブジェクトを装着しているか否かを示す。キャラクタオブジェクトが装飾オブジェクトを装着している場合には「装着中」が表示される。キャラクタオブジェクトの装着が終了した場合には、「装着済」が表示される。配信中のコンテンツにおいて、キャラクタオブジェクトが既に装着し終わった装飾オブジェクトについては、「装着済」が表示される。アクター及びサポーターは、この全ギフト一覧211において、動画の配信を開始した時点から視聴者によって表示要求が行われたギフトオブジェクトを確認することができる。また、全ギフト一覧211には、ギフトオブジェクトに関連付けてユーザの識別情報が表示されているので、アクターは、動画の音声で、ギフトオブジェクトの表示要求を行った視聴ユーザに対し、メッセージ(例えば「Aさん、ありがとう」等)を伝えることができる。これにより、アクターが、視聴ユーザとのコミュニケーションの増加を図ることができるので、視聴ユーザの満足度を向上することができる。
装飾オブジェクトには表示時間が定められ得る。表示時間が経過した装飾オブジェクトは、全ギフト一覧211において、選択状態が「装着済」とされた上、グレイアウト等、表示時間が経過していない装飾オブジェクトと異なる表示態様とされる。また、表示時間が経過した装飾オブジェクトは、動画上で非表示とされる。
なお、配信中の動画において、異なる視聴ユーザから同じ装飾オブジェクトの表示要求が行われ、一方の装飾オブジェクトのみがキャラクタオブジェクトによって装着された場合には、当該装飾オブジェクトを「装着済み」とし、他方の装飾オブジェクトを「未装着」としてもよい。又は、両方の装飾オブジェクトを「装着済み」としてもよい。
装着中ギフト一覧212には、アクター又はサポーターによって選択され、キャラクタオブジェクトが装着している装飾ギフトオブジェクトが表示されている。装着中ギフト一覧212の項目は、全ギフト一覧と同様である。装着中ギフト一覧212は、装着中である装飾オブジェクトのうち、表示要求が行われた日時が最も遅いもの、すなわち最も新しいものが最上部に表示され、表示要求が行われた日時が遅いものから順に、上から下に並べて表示される。アクター及びサポーターは、この装着中ギフト一覧212を確認することで、キャラクタオブジェクトが装着している装飾オブジェクトを把握することができる。このため、アクターは、キャラクタオブジェクトに装着した装飾オブジェクトの感想等のメッセージ(例えば「このネコミミ、気に入った」等)を動画の音声で、視聴ユーザに伝えることができる。これにより、アクターが、装飾オブジェクトを通じて、視聴ユーザとのコミュニケーションの増加を図ることができるので、装飾オブジェクトを提供した視聴ユーザの満足度を向上するだけでなく、当該視聴ユーザ以外の視聴ユーザが装飾オブジェクトを提供する意欲を高めることができる。
表示時間が経過した装飾オブジェクトは、装着中ギフト一覧212から消去されるか、又は、グレイアウト等、表示時間が経過していない装飾オブジェクトと異なる表示態様とされる。
未装着ギフト一覧213には、視聴ユーザにより表示要求が行われた後、アクター又はサポーターによって選択されていない装飾ギフトオブジェクトが表示されている。未装着ギフト一覧213の項目は、全ギフト一覧と同様である。未装着ギフト一覧213は、表示要求が行われた日時が最も早いもの、すなわち表示要求が行われてから未装着のまま経過した時間が最も長いものが最上部に表示され、表示要求が行われた日時が早いものから順に、上から下に並べて表示される。このように、未装着の装飾ギフトオブジェクトが一覧表示されるので、アクター又はサポーターは、視聴ユーザから提供されて選択していない装飾オブジェクトを把握することができる。このようにアクターが未選択の装飾オブジェクトを容易に確認することができるので、可能な限り多くの装飾オブジェクトを効率的に選択することができる。さらに、表示要求が行われた日時が早いものを上部に表示するので、選択の漏れを抑制することができる。
装飾ギフトオブジェクトのうち、表示時間が制限されているオブジェクトは、キャラクタオブジェクトに装着開始されたときから表示時間が経過すると、動画視聴画面105から消去される。消去された装飾オブジェクトは、装着中ギフト一覧212から消去される。このように動画視聴画面105から消去された装飾オブジェクトは、全ギフト一覧211において、選択状態が「装着済」に更新される。全ギフト一覧211、装着中ギフト一覧212、未装着ギフト一覧213に、ギフトオブジェクトの表示時間を表示してもよい。
また、アクター又はサポーターによって未装着ギフト一覧213に含まれるいずれかの装飾ギフトが選択されると、サーバ20によって、選択された装飾オブジェクトに関する情報は、未装着ギフト一覧213から消去され、装着中ギフト一覧212に新たに追加される。また、選択された装飾ギフトオブジェクトは、全ギフト一覧211の選択状態が「未選択」から「装着中」に更新される。
このように、ギフトリスト画面210において、装着中ギフト一覧212と、未装着ギフト一覧213とが分けて表示されるので、視聴ユーザから多くの装飾オブジェクトが提供されたとしても、アクター又はサポーターは、選択中の装飾オブジェクト及び未選択の装飾オブジェクトを把握し、装飾オブジェクトを効率良く選択することができる。そして、限られた配信時間の中で、可能な限り多くの装飾オブジェクトを選択してキャラクタオブジェクトに装着させることで、視聴ユーザとのコミュニケーションの機会を増加させることができる。これにより、配信動画に対する視聴ユーザの満足度を向上させることができる。
図15は、サブディスプレイ43に表示されるメッセージ表示画面220である。メッセージ表示画面220は、ギフトリスト画面210と同じサブディスプレイ43に表示されてもよいし、サブディスプレイ43が複数台ある場合には異なるサブディスプレイ43に表示されてもよい。メッセージ表示画面220には、第1メッセージ表示領域221と、第2メッセージ表示領域222と、入室ログ223とが表示されている。
第1メッセージ表示領域221は、サーバ20のコンピュータプロセッサ21が、配信中のコンテンツに対応する投稿メッセージ23Fをストレージ23から読み出して、投稿日時順にリスト化したものである。投稿日時が最も遅いもの、すなわち最新の投稿メッセージがリストの最上部に表示させてもよい。新たな投稿メッセージが投稿されると、当該投稿メッセージは第1メッセージ表示領域221の最上部に追加し、既に第1メッセージ表示領域221に表示された投稿メッセージは下方に繰り下げる。なお、投稿メッセージの移動方向は、逆方向であってもよい。リストには、投稿メッセージ毎に、視聴ユーザの識別情報(視聴ユーザのアカウント名等)、投稿時刻、メッセージ内容が含まれ得る。なお、視聴ユーザの識別情報として、視聴ユーザのアバターが表示されてもよい。
第2メッセージ表示領域222は、サーバ20のコンピュータプロセッサ21が、ストレージ23に記憶された投稿メッセージ23Fのうち、第1グループ(VIPグループ)に属する視聴ユーザの投稿メッセージのみを抽出してリスト化したものである。図示の実施形態では、第2メッセージ表示領域222に表示された投稿メッセージは、第1メッセージ表示領域221にも表示されていてもよく、第2メッセージ表示領域222のみに表示されてもよい。第2メッセージ表示領域222には、視聴ユーザの識別情報(視聴ユーザのアカウント名等)、投稿時刻、メッセージ内容のほか、ランキングが含まれ得る。なお、視聴ユーザの識別情報として、視聴ユーザのアバターが表示されてもよい。
入室ログ223は、配信中のコンテンツを視聴している視聴ユーザのリストである。サーバ20のコンピュータプロセッサ21は、配信中のコンテンツに対応するユーザ管理データ23Cを参照して、入室状態が「入室」である視聴ユーザを抽出する。入室ログ223は、当該コンテンツを視聴している視聴ユーザの識別情報、入室時刻、入室状態、グループを含み得る。なお、視聴ユーザの識別情報として、視聴ユーザのアバターが表示されてもよい。
アクターは、入室ログ223を参照することにより、視聴を開始した視聴ユーザに対し、動画の音声を通じて、「Nさん、こんにちは」等のメッセージを述べることができる。このように、アクターは、視聴を開始した視聴ユーザとのコミュニケーションをとることができるので、視聴ユーザはキャラクタへの愛着が湧き、コンテンツへの満足度が高められる。
また、アクターは、第1メッセージ表示領域221、及び第2メッセージ表示領域222を確認することにより、視聴ユーザからの投稿メッセージに対応することができる。この際、第1メッセージ表示領域221と、第1グループの視聴ユーザが属する第2メッセージ表示領域222とを分けて表示することにより、投稿メッセージを送信したユーザの傾向を容易に把握することができる。例えば、アクターは、第1グループに属する視聴ユーザの投稿メッセージへの対応を優先することができる。これにより、第1グループに属する視聴ユーザのコンテンツへの満足度を特に高めることができる。また、第2グループに属する視聴ユーザの投稿メッセージへの対応を優先すれば、第2グループに属する視聴ユーザのコンテンツへの満足度を特に高めることができる。
次に図16を参照して、一実施形態における動画配信処理について説明する。当該動画配信処理においては、スタジオルームRにおいてアクターがパフォーマンスを行っていることが想定されている。まず、ステップS11では、サーバ20のモーションデータ処理部21Aによって、アクターの体の動きのデジタル表現であるボディモーションデータと、アクターの顔の動き(表情)のデジタル表現であるフェイスモーションデータと、が生成される。
次に、ステップS12において、動画生成部21Bにより、動画が生成される。当該ステップでは、アクターのボディモーションデータ及びフェイスモーションデータを、アクター用のモデルデータ23Aに適用することにより、アクターの体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションが生成される。さらにこのアニメーションを用いた動画が生成される。この動画には、アクターの音声が合成される。
次に、ステップS13において、動画配信部21Cにより、ステップS12にて生成された動画が配信される。コンテンツは、ネットワーク11を介してクライアント装置10に配信される。このコンテンツは、サポーターコンピュータ45に配信され、また、スタジオルームR内のメインディスプレイ41に投影されてもよい。1回分のコンテンツは、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、30秒間、1分間、5分間、10分、30分間、60分間、120分間、及びこれら以外の任意の時間に定め得る。
次に、ステップS14に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、サポーターコンピュータ45により配信の終了指示がなされたこと、またはこれら以外の条件である。終了条件が成就していなければステップS11〜S13の処理が繰り返し実行され、アクターの動きに同期したアニメーションを含む動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。
次に、図17を参照して、ギフトオブジェクトの受付処理について説明する。サーバ20のユーザリクエスト処理部21Dによってクライアント装置10から送信されたギフトオブジェクトの表示要求が受信されると、ギフトオブジェクトが受け付けられる(ステップS20)。表示要求には、視聴ユーザの識別情報、ギフトオブジェクトの識別情報、送信日時等が含まれ得る。
ユーザリクエスト処理部21Dによって、受け付けたギフトオブジェクトの情報が候補リスト23Eに追加され、ギフトオブジェクトの情報がギフトリスト画面210の全ギフト一覧211に追加される(ステップS21)。
次に、ユーザリクエスト処理部21Dによって、追加されたギフトオブジェクトが装飾オブジェクトであるか否かが判断される(ステップS22)。ギフトオブジェクトが装飾オブジェクトではなく、エフェクトオブジェクト又は通常オブジェクトである場合には(ステップS22:NO)、ギフトオブジェクトの受付処理を終了する。
ギフトオブジェクトが装飾オブジェクトである場合には(ステップS22:YES)、ギフトオブジェクトが、未装着ギフト一覧213に追加される(ステップS23)。
次に、図18を参照して、装飾オブジェクトの選択処理について説明する。アクター又はサポーターの操作によって、装飾オブジェクトが選択されたと判断すると(ステップS30:YES)、ユーザリクエスト処理部21Dによって、選択された装飾オブジェクトが、未装着ギフト一覧213から削除され、装着中ギフト一覧212に表示される(ステップS31)。また、動画生成部21Bによって、選択された装飾オブジェクトが、当該装飾オブジェクトに関連付けられたキャラクタオブジェクトの所定の部位に表示される(ステップS32)。
さらに、動画に表示された装飾オブジェクトについて、表示期間が終了したか否かが判断される(ステップS33)。装飾オブジェクトの表示期間が終了していない場合には(ステップS33:NO)、装飾オブジェクトの表示が継続される。一方、装飾オブジェクトの表示時間が終了した場合には(ステップS33:YES)、装着中ギフト一覧212のうち、表示時間が終了した装飾オブジェクトが更新される(ステップS34)。具体的には、表示時間が終了した装飾オブジェクトが装着中ギフト一覧212から消去されるか、又はグレイアウトされる等、表示時間が終了していない他の装飾オブジェクトと異なる表示態様とされる。
次に、図19を参照して、投稿メッセージの表示処理について説明する。視聴ユーザの識別情報と投稿メッセージとが受信されると、ユーザリクエスト処理部21Dによって、当該投稿メッセージが、第1のグループに属する視聴ユーザからの投稿メッセージであるか否かを判断する(ステップS40)。視聴ユーザのグループ分けは、ユーザ情報管理部21Eによって、所定のタイミングで行われる。
受信された投稿メッセージが第1グループに属する視聴ユーザからの投稿メッセージであると判断されると(ステップS40:YES)、ユーザリクエスト処理部21Dによって、当該投稿メッセージを第1メッセージ表示領域221及び第2メッセージ表示領域222に表示する(ステップS41)。一方、受信された投稿メッセージが第2グループに属するユーザからの投稿メッセージであると判断されると(ステップS40:YES)、当該投稿メッセージは、第2メッセージ表示領域222のみに表示される(ステップS42)。
以上説明したように、本実施形態によれば、以下の効果が得られる。
(1)上記実施形態では、動画配信システムは、視聴ユーザから、オブジェクトの表示要求を受け付ける。また、表示要求が受け付けられたオブジェクトのリストが、アクターから視認可能な位置に配置されたサブディスプレイ43に表示される。パフォーマンス中のアクターは、サブディスプレイ43に表示されたリストを確認することによって、表示要求が行われたオブジェクトと、当該オブジェクトの表示要求を行った視聴ユーザとを迅速に把握できる。さらに、アクターは、オブジェクトと視聴ユーザとを迅速に把握することにより、表示要求を行った視聴ユーザに対し好適なタイミングでメッセージを送ることが可能となる。従って、視聴ユーザとのコミュニケーションの機会を増加させることができる。
(2)上記実施形態では、ギフトリスト画面210の中からアクター等の視聴ユーザ以外のユーザによって選択されたオブジェクトが動画に表示される。ギフトリスト画面210には、表示要求が行われたオブジェクトが表示されているので、アクター等がオブジェクトを効率よく選択することができる。このため、リストの効果をより発揮することができる。
(3)上記実施形態では、ギフトリスト画面210において、選択されたオブジェクトと、未選択のオブジェクトとが、別のリストに分けて表示されるので、未選択のオブジェクトのリストの中からオブジェクトを容易に選択することができる等、アクターのパフォーマンスを支援することができる。
(4)上記実施形態では、装飾オブジェクトのみが、装着中ギフト一覧212及び未装着ギフト一覧213に表示される。つまり、視聴ユーザ以外のユーザによって選択される必要のあるオブジェクトのみが第1リスト及び第2リストに表示されるため、アクターは、希望の装飾オブジェクトを容易に選択できる。
(5)上記実施形態では、第1グループに属する視聴ユーザの投稿メッセージが、他のグループに属する視聴ユーザの投稿メッセージとは異なる領域に表示されるので、アクターは、第1グループに属する視聴ユーザの投稿メッセージに優先して対応することができる。このため、特定の視聴ユーザに対するコミュニケーションの機会を増加させることができる。
上記各実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、ギフトリスト画面210を、装着中ギフト一覧212、未装着ギフト一覧213を含む画面をサブディスプレイ43に表示した。これに代えて若しくは加えて、第1グループに属する視聴ユーザからのギフト一覧、及び第2グループに属する視聴ユーザからのギフト一覧の少なくとも一方をサブディスプレイ43に表示してもよい。さらに、第1グループに属する視聴ユーザからのギフト一覧を、装着中ギフト一覧と、未装着ギフト一覧とに分けるようにしてもよい。同様に、第2グループに属する視聴ユーザからのギフト一覧を、装着中ギフト一覧と、未装着ギフト一覧とに分けるようにしてもよい。これによれば、装飾ギフトオブジェクトを、装着中及び未装着の観点に加え、視聴ユーザの属するグループといった観点で区別して表示することができるので、視聴ユーザの属するグループに応じたコミュニケーションを取ることができる。
・上記実施形態では、ギフトリスト画面210とメッセージ表示画面220とを異なる画面とした。これに代えて、装着中ギフト一覧212、未装着ギフト一覧213、第1メッセージ表示領域221、第2メッセージ表示領域222、及び入室ログ223のうち複数を一画面に並べて表示してもよい。また、アクター又はサポーターが、全ギフト一覧211、装着中ギフト一覧212、未装着ギフト一覧213、第1メッセージ表示領域221、第2メッセージ表示領域222、及び入室ログ223のうち、任意の表示を一画面内において自由に配置できるように構成されていてもよい。
・上記実施形態では、一つのサブディスプレイ43に、ギフトリスト画面210とメッセージ表示画面220とを交互に表示してもよい。画面の切り替えは、ギフトオブジェクトの表示要求、及び投稿メッセージのいずれかを受信したときに行ってもよい。例えば、ギフトオブジェクトの表示要求を受信した場合には、ギフトリスト画面210を所定時間表示し、投稿メッセージを受信した場合にはメッセージ表示画面220を所定時間表示する。
・上記実施形態では、ギフトリスト画面210、メッセージ表示画面220はサブディスプレイ43に表示されるようにした。これに代えて、ギフトリスト画面210、及びメッセージ表示画面220の少なくとも一つを、メインディスプレイ41に表示するようにしてもよい。
・上記実施形態では、装飾オブジェクトは、キャラクタオブジェクトに装着された後、所定の表示時間が経過すると非表示となるようにした。これに代えて、装飾オブジェクトは、アクター又はサポーターの操作により、非表示となるように構成されてもよい。
・上記実施形態では、ギフトリスト画面210、メッセージ表示画面220はサブディスプレイ43に表示されるようにした。これに代えて若しくは加えて、アクターが装着するヘッドマウントディスプレイに表示されるようにしてもよい。ヘッドマウントディスプレイは、透過型のものであってもよく、非透過型のものであってもよい。ヘッドマウントディスプレイには、キャラクタのアニメーションを含む動画が表示されてもよく、それらの動画は表示されずギフトリスト画面210及びメッセージ表示画面220の少なくとも一方のみが表示されてもよい。
・上記実施形態では、視聴ユーザを、コンテンツの視聴回数、当該コンテンツへの投稿メッセージの投稿回数、当該コンテンツへのギフトオブジェクトの送信回数、当該コンテンツへの課金額等によって、複数のグループに分けた。これに代えて、視聴ユーザを、配信される動画に対し、不適切な行動を行う視聴ユーザが属するグループ(例:第2グループ)と、それ以外の視聴ユーザが属するグループ(例:第1グループ)とを分けてもよい。視聴ユーザの実名や住所等、視聴ユーザを特定する情報は、アカウント名、ユーザID又はアバター等の必要な情報を除いて、配信者や他の視聴ユーザに開示されないことから、悪意のある視聴ユーザは、動画へのメッセージの投稿、ギフトオブジェクトの表示要求等のアクティビティにおいて、不適切な行動をとる可能性がある。配信者は、トラブルを未然に防ぐために、これらの視聴ユーザが「入室」(ログイン)したこと、メッセージを投稿したこと等をいち早く把握する必要がある。グループを分ける条件は、動画上で不適切なメッセージが過去に送信されたこと、又はその回数が閾値に達したことなどである。不適切なメッセージを判定する方法として、例えば、サーバ20が、メッセージの内容を解析し、メッセージに含まれる語句が不適切な語句に該当すると判断すると、当該メッセージを不適切であると判定する方法がある。他にも、配信者又は運営者が、動画に投稿されるメッセージを目視して確認することによってメッセージが不適切であるか否かを判定する方法、他の視聴ユーザから不適切であるとの通報を受けることによって不適切であると判定する方法等がある。配信者又は運営者がメッセージが不適切であるか否かを判定する場合、配信者又は運営者は、サポーターコンピュータ45等を操作して、そのメッセージを送信した視聴ユーザを例えば「第2グループ」に帰属させる。又は、配信者又は運営者は、サポーターコンピュータ45等を操作して、そのメッセージを送信した視聴ユーザが不適切な発言を行った回数を更新する。サーバ20は、それらの情報をサポーターコンピュータ45等から受信して、ユーザ管理データを更新する。これらのグループ分けは、上記実施形態と同様にコンテンツ毎に管理されてもよいし、動画を配信するプラットフォーム全体に共通するものとして管理してもよい。また、入室ログ223には、視聴ユーザの識別情報とともに、当該視聴ユーザが属するグループを表示してもよい。第2グループに属する監視が必要な視聴ユーザが「入室」すると、その入室ログ223(図15)にその視聴ユーザの識別情報が表示されるので、配信者は、その視聴ユーザを強制退室させることも可能である。又は、サーバ20が、その視聴ユーザが「入室」したときに自動的に強制退室させてもよい。或いは、強制退室を行なわずとも、入室ログ223にその視聴ユーザの入室が表示されるだけで、配信者は、その他の視聴ユーザの迷惑にならないように注意を払うことができる。
・一実施形態においては、アクター及びアクターに装着される複数の装着センサ33の各々に多数の赤外LEDを搭載し、この赤外LEDからの光を、スタジオルームRの床や壁に設けられた赤外線カメラで検知することで、当該装着センサ33の各々の位置及び向きを検出してもよい。赤外LEDに代えて可視光LEDを使用し、この可視光LEDからの光を可視光カメラで検出することで、当該装着センサ33の各々の位置及び向きを検出してもよい。このように、アクターに装着される複数の装着センサ33の各々に発光部(例えば、赤外LEDや可視光LED)を設け、この発光部からの光をスタジオルーム内に設けられた受光部(例えば、赤外線カメラや可視光カメラ)で検出することで、当該装着センサ33の各々の位置及び向きを検出してもよい。一実施形態においては、装着センサ33に代えて、複数のマーカーを用いることができる。マーカーは、アクターの各々に設けられる。又は、マーカーは、アクターの着衣(例えば上衣、又は下衣、又はこれらが一体となったスーツ等)に設けられてもよい。このようにマーカーが設けられたアクターを撮影して撮影データを生成し、この撮影データを画像処理することにより、マーカーの位置及び向きの少なくとも一方を検出することができる。また、上記装着センサ33や、加速度センサやジャイロ等の位置及び向きの少なくとも一つを検出可能なセンサや、静電容量式のセンサ等、外部センサ32やサーバ20との間で信号を送受信可能なセンサをアクターの着衣(例えば上衣、又は下衣、又はこれらが一体となったスーツ等)に設け、これらのセンサから発信された信号に基づいて、センサの位置、向き、及び動きの少なくとも一部を検出するようにしてもよい。また、トラッキングシステム31は、装着センサ33を用いず、外部センサ32のみで、アクターの動きを検出できるものであってもよい。
・実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラムとして、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段(実行プログラムのみならずテーブルやデータ構造も含む)を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
〔1〕アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザが使用するクライアント装置に配信する動画配信システムであって、
一又は複数のコンピュータプロセッサと、
前記視聴ユーザに関連付けられたオブジェクトを記憶するストレージと、
前記アクターから視認可能な表示装置と、
を備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
前記視聴ユーザから前記オブジェクトの表示要求を受け付け、
前記表示装置に、前記表示要求を受け付けたオブジェクトの情報と、当該オブジェクトの表示要求を行った視聴ユーザの識別情報とを対応付けたオブジェクト情報を表示する、
動画配信システム。
〔2〕前記オブジェクト情報が前記オブジェクトの表示要求を行った視聴ユーザ以外のユーザによって選択され、前記オブジェクトの選択が受け付けられた場合に、当該オブジェクトが前記動画に表示される、
〔1〕に記載の動画配信システム。
〔3〕前記オブジェクト情報は、選択されたオブジェクトに関するオブジェクト情報を含む第1リストと、未選択のオブジェクトに関するオブジェクト情報を含む第2リストとを含む、
〔2〕に記載の動画配信システム。
〔4〕前記オブジェクトは、前記表示要求を行った視聴ユーザ以外のユーザに選択されることによって動画に表示される装飾オブジェクトと、前記表示要求が受け付けられた場合に動画に表示されるオブジェクトとを含み、
前記第1リスト及び前記第2リストには、前記装飾オブジェクトの情報のみが表示される、
〔3〕に記載の動画配信システム。
〔5〕前記コンピュータプロセッサが、
前記視聴ユーザの動画に対する行動が所定条件を満たしたとき、当該視聴ユーザを、複数のグループのうちいずれかに関連付ける、
〔1〕〜〔4〕のいずれか1項に記載の動画配信システム。
〔6〕前記視聴ユーザは、複数のグループのいずれかに関連付けられ、
前記コンピュータプロセッサが、
前記視聴ユーザから、配信中の動画に対して送信された投稿メッセージを受け付け、
前記表示装置に、前記複数のグループのうち所定のグループに属する視聴ユーザが送信した投稿メッセージを表示するメッセージ表示領域と、前記所定のグループに含まれない視聴ユーザからのメッセージを表示可能なメッセージ表示領域とを表示する、
〔1〕〜〔4〕のいずれか1項に記載の動画配信システム。
〔7〕一又は複数のコンピュータプロセッサが、コンピュータ読み取り可能な命令を実行することにより、アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザが使用するクライアント装置に配信する動画配信方法であって、
前記視聴ユーザに関連付けられたオブジェクトをストレージに記憶する工程と、
前記視聴ユーザから前記オブジェクトの表示要求を受け付ける工程と、
前記アクターから視認可能な位置に配置された表示装置に、前記表示要求を受け付けたオブジェクトの情報と、当該オブジェクトの表示要求を行った視聴ユーザの識別情報とを対応付けたオブジェクト情報を表示する工程と、
を有する動画配信方法。
〔8〕アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザが使用するクライアント装置に配信する動画配信プログラムであって、
一又は複数のコンピュータプロセッサに、
前記視聴ユーザに関連付けられたオブジェクトをストレージに記憶する工程と、
前記視聴ユーザから前記オブジェクトの表示要求を受け付ける工程と、
前記アクターから視認可能な位置に配置された表示装置に、前記表示要求を受け付けたオブジェクトの情報と、当該オブジェクトの表示要求を行った視聴ユーザの識別情報とを対応付けたオブジェクト情報を表示する工程と、
を実行させる動画配信プログラム。