特許法第30条第2項適用 公開日 令和2年7月10日 ウェブサイトにて公開 https://reality.wrightflyer.net/notice/page/e64ZnDwfZMhZ
特許法第30条第2項適用 公開日 令和2年8月2日 ウェブサイトにて公開 https://reality.wrightflyer.net/notice/page/wtwSw4m4ZDwt
特許法第30条第2項適用 公開日 令和2年8月17日 ウェブサイトにて公開 https://reality.wrightflyer.net/notice/page/mn7wfjVmNdff
特許法第30条第2項適用 公開日 令和2年8月21日 ウェブサイトにて公開 https://reality.wrightflyer.net/notice/page/d7PNDZFh4Man
特許法第30条第2項適用 公開日 令和2年8月28日 ウェブサイトにて公開 https://reality.wrightflyer.net/notice/page/fZnnfNfSHtw4
特許法第30条第2項適用 公開日 令和2年9月4日 ウェブサイトにて公開 https://reality.wrightflyer.net/notice/page/4dDHj4eNgjwf
特許法第30条第2項適用 公開日 令和2年9月14日 ウェブサイトにて公開 https://reality.wrightflyer.net/notice/page/Pgawwadf6Mff
特許法第30条第2項適用 公開日 令和2年9月25日 ウェブサイトにて公開 https://reality.wrightflyer.net/notice/page/3ezeHZSm6eaf
特許法第30条第2項適用 公開日 令和2年10月5日 ウェブサイトにて公開 https://reality.wrightflyer.net/notice/page/gVhPwPtwntFz
特許法第30条第2項適用 公開日 令和2年10月19日 ウェブサイトにて公開 https://reality.app/notice/page/e7nfaNSm4tzf
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://reality.app/notice/page/SjefMV3wzDaD
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1281513493917601795
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1290595837928591364
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1289867532355026945
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1296012780450066432
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1295308137461714944
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1298210287699390465
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1296764735535210498
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1300750248311103488
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1299308245966663680
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1301844963056025606?s=20
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1303286967791046658?s=20
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1305427315036434432
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1305826193338318851?s=20
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1309417366209482241?s=20
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1311591683549609984?s=20
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1310507791531028480?s=20
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1313434074086699009?s=20
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1313072692652732417?s=20
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1318144868896677890?s=20
特許法第30条第2項適用 公開日 令和2年10月22日 ウェブサイトにて公開 https://twitter.com/REALITY_app/status/1319218992523866112?s=20
以下、図面を参照して動画配信システムの一実施形態について説明する。本実施形態の動画配信システムは、ユーザの動きに応じて動くアバターオブジェクトを三次元仮想空間に表示した動画を配信するものである。
<動画配信システム>
図1に示すように、動画配信システム11は、ユーザ装置12とサーバ13とを備える。動画配信システム11は、複数のユーザ装置12とサーバ13との間でネットワーク14を介してデータを送受信することによりユーザ装置12に動画を表示するシステムである。ユーザ装置12には、動画を視聴及び配信するための動画アプリケーションプログラムがインストールされている。以下、動画を配信するユーザを「配信ユーザ」、配信ユーザによって配信された動画を視聴するユーザを「視聴ユーザ」という。ユーザは、動画を視聴資する場合は視聴ユーザであり、動画を配信する場合は配信ユーザである。また、「配信ユーザ」及び「視聴ユーザ」を区別しない場合には、単に「ユーザ」という。
ユーザ装置12は、スマートフォン(多機能電話端末)、タブレット端末、パーソナルコンピュータ、コンソールゲーム機、ヘッドマウントディスプレイ、眼鏡型のウェアラブル端末等のウェアラブルコンピュータ、及びこれらの装置以外の動画を再生可能な情報処理装置である。ユーザ装置12は、単独で動作するスタンドアロン型の装置であってもよく、互いに各種のデータを送受信可能に接続された複数の装置から構成されるものであってもよい。
ユーザ装置12は、制御部20、ストレージ22(記憶媒体)、通信インターフェース(I/F)23を備える。制御部20は、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、NPU(Neural network Processing Unit)等の1乃至複数の演算回路を備える。また、制御部20は、演算回路が読み出し及び書き込みが可能な主記憶装置(記録媒体)であるメモリを備える。メモリは、半導体メモリ等から構成される。制御部20は、ストレージ22又は外部ストレージからオペレーティングシステムやその他のプログラムをメモリに読み込み、メモリから取り出した命令を実行する。通信I/F23は、ネットワーク14を介して、サーバ13及び他のユーザ装置12とデータを送受信することができる。ネットワーク14は、ローカルエリアネットワーク、インターネット等、各種のネットワークを含む。
ストレージ22は、補助記憶装置(記録媒体)であり、例えば、磁気ディスク、光ディスク、半導体メモリ等の記憶媒体である。ストレージ22は、複数のストレージを組み合わせて用いることもできる。ストレージ22には、動画アプリケーションプログラム220、アバターオブジェクトを描画するためのアバターデータ221、オブジェクトデータ222、及びユーザ管理情報223が格納されている。
制御部20は、動画アプリケーションプログラム220を実行することにより、サーバ13から各種のデータを適宜取得する。また、制御部20は、動画アプリケーションプログラム220を実行することにより、ユーザの指示を受け付けてユーザ自身が動画を配信する配信モードと、他の配信ユーザが配信する動画を視聴する視聴モードとを切り替える。
アバターデータ221は、アバターオブジェクトを描画するための3次元モデルデータである。ユーザ装置12は、アバターデータ221を更新するデータを、動画アプリケーションプログラム220を起動した場合等、サーバ13から所定のタイミングで取得する。アバターデータは、アバターオブジェクト本体を描画するためのデータ、アバターオブジェクト本体に適用されるテクスチャデータ等を含んでいる。アバターオブジェクト本体を描画するためのデータには、ポリゴンデータ、アバターオブジェクトの動作を表現するための骨格データ(ボーン)等が含まれる。アバターデータ221は、複数体のアバターオブジェクト本体を描画するためのデータを含んでいてもよい。テクスチャデータには、アバターオブジェクトに対して適用可能な複数のパーツデータが含まれている。例えば「目」、「眉」、「耳」、「服」等のカテゴリ毎に複数のパーツデータが準備されている。ユーザは、パーツデータを選択し、アバターオブジェクト本体に適用して、アバターオブジェクトを作成する。ユーザによって選択されたアバターオブジェクト本体とパーツデータとの組み合わせは、ストレージ22に記録される。
オブジェクトデータ222は、所定のタイミングでサーバ13からダウンロードされるデータである。オブジェクトデータ222は、アバターオブジェクト以外のオブジェクトに関する情報である。アバターオブジェクト以外のオブジェクトには、配信ユーザが表示させることのできるオブジェクト、視聴ユーザから配信ユーザに提供されるギフトオブジェクトが含まれる。ギフトオブジェクトの種類の一つとして、アバターオブジェクトの特定の部位と関連付けて表示画面に表示される装着オブジェクトがある。装着オブジェクトは、例えば、装着オブジェクトに装着されるアクセサリー(帽子、めがね等)、衣服(Tシャツ等)、及びこれら以外のアバターオブジェクトに装着可能なオブジェクトである。その他のオブジェクトとして、例えば、花火や炎等の2次元の画像や2次元のパーティクルからなるものや、ぬいぐるみや花束を模した3次元座標を有するオブジェクトが挙げられる。
また、オブジェクトは、物理的挙動を行うオブジェクトであってもよい。具体的には、オブジェクトは、重力による落下、力の付与による運動等といった物理的挙動をシミュレーションするものであってもよい。物理挙動オブジェクトには、物理的挙動をシミュレーションするためのコンポーネント(プログラム)が、実行可能に関連付けられている。
ユーザ管理情報223は、ユーザの識別情報(ユーザID)、初期設定されているアバターオブジェクトの情報等を含む。なお、ユーザ管理情報223は、ユーザの識別情報(ユーザID)、コイン等の購入媒体、ポイント、配信状況等を含んでいてもよい。
また、ユーザ装置12は、センサユニット24、スピーカ25、マイク26、操作部27、ディスプレイ28を備える。センサユニット24、スピーカ25、マイク26、操作部27及びディスプレイ28の少なくとも一つは、制御部20と同じ装置として設けられていてもよく、制御部20を備える装置に接続する態様で設けられていてもよい。
センサユニット24は、ユーザの表情の変化を示すフェイスモーション、及びセンサユニット24に対するユーザの身体の相対位置の変化を示すボディモーションを検出する1乃至複数のセンサである。フェイスモーションは、瞬きや口の開閉等の動きを含む。センサユニット24は、公知の物を使用することができる。センサユニット24の一例は、ユーザに向かって照射された光がユーザの顔等に反射して返ってくるまでの飛行時間(Time of Flight)を測定検出するToFセンサ、ユーザの顔を撮影するカメラ及びカメラが撮影したデータを画像処理する画像処理部を含むものである。また、センサユニット24は、可視光線を撮像するRGBカメラと、近赤外線を撮像する近赤外線カメラとを含んでいてもよい。RGBカメラや近赤外線カメラは、例えば「iphoneX(登録商標)」のトゥルーデプス(True Depth)、又は「iPad Pro(登録商標)」の「LIDAR」や、スマートフォンに搭載されるその他のToFセンサを用いることが可能である。このカメラは、具体的には、ドットプロジェクタによってユーザの顔等に数万の不可視のドット(点)を投影する。そして、ドットパターンの反射光を検出し、分析して顔の深度マップを形成し、顔等の赤外線画像をキャプチャすることで、正確な顔データをキャプチャする。センサユニット24の演算処理部は、深度マップと赤外線画像に基づいて各種の情報を生成し、その情報を登録済みの参照データと比較して、顔の各ポイントの深度(各ポイントと近赤外線カメラとの間の距離)や深度以外の位置のずれを算出する。
また、センサユニット24は、ユーザの顔だけでなく、手をトラッキングする(ハンドトラッキング)機能を有していてもよい。センサユニット24は、加速度センサやジャイロセンサ等といった上記のセンサ以外のセンサをさらに含むものであってもよい。センサユニット24は、上記のToFセンサや公知の他のセンサの検出結果に基づきユーザが存在する現実空間の物体を認識し、認識した物体を空間地図にマッピングする空間マッピング機能を有していてもよい。以下、フェイスモーションの検出データ及びボディモーションの検出データを特に区別しないで説明する場合には単に「トラッキングデータ」という。なお、センサユニット24の画像処理部は、制御部20が備えていてもよい。
スピーカ25は、音声データを音声に変換して出力する。マイク26は、ユーザが発話した音声を入力し、音声データに変換する。ディスプレイ28は、制御部20の出力指示に応じて、各種画像を出力する。操作部27は、ユーザ装置12の種類に応じたものを用いることができる。操作部27の一例は、ディスプレイ28と一体化されたタッチパネルや、ユーザ装置12の筐体等に設けられた操作ボタン、キーボード、マウス、ユーザが手で操作するコントローラ等である。コントローラは、加速度センサ、ジャイロ等の慣性計測センサ(IMU:Inertial Measurement Unit)等の公知の各種のセンサを内蔵していてもよい。また、操作部27の他の一例は、ユーザの手の動き、目の動き、頭部の動き、視線の方向等を特定するトラッキング装置であってもよい。この態様では、例えば、ユーザの手の動きに基づいて、ユーザの指示を判定し、動画の配信を開始又は終了したり、メッセージや動画への評価、所定のオブジェクト(例えば後述するギフト)の表示要求等の各種操作を実行したりすることができる。なお、センサユニット24がハンドトラック機能等の入力インターフェース機能も有する場合には、操作部27は省略可能である。
制御部20は、ストレージ22に記憶された動画アプリケーションプログラム220を実行することにより、アプリケーション管理部201、表示制御部202として機能する。アプリケーション管理部201は、動画アプリケーションプログラムの主な制御を司る。アプリケーション管理部201は、操作部27を通じて入力されたユーザの要求又はサーバ13からの要求等を取得し、それらの要求の内容に応じて表示制御部202へ要求を出力する。また、アプリケーション管理部201は、表示制御部202からの要求や各種データをサーバ13へ送信したり、センサユニット24から取得したトラッキングデータをサーバ13に送信したりする。また、アプリケーション管理部201は、サーバ13から受信した各種データをストレージ22に記録する。
表示制御部202は、配信モードにおいて、アバターデータ221に、センサユニット24から取得したトラッキングデータを適用してアニメーションを生成する。また、表示制御部202は、アバターオブジェクト、アバターオブジェクト以外のオブジェクトを含めてレンダリングを行う。ここでいうレンダリングは、仮想カメラの位置の取得、透視投影、隠面消去(ラスタ化)等が含まれる描画処理をいう。レンダリングは、これらのうち少なくとも一つの処理であってもよいし、シェーディング、テクスチャマッピング等の処理を含んでいてもよい。また、表示制御部202は、レンダリングされた画像を用いてアニメーションを生成する。さらに表示制御部202は、アニメーションと、視聴ユーザのユーザ装置12から送信された投稿メッセージ、又はサーバ13から送信された通知等とを合成した動画データをディスプレイ28に出力する。
表示制御部202は、配信モードにおいて、マイク26から入力した音声データと動画データとを同期させて、ディスプレイ28に出力する。さらに、表示制御部202は、動画データ及び音声データをエンコードする。アプリケーション管理部201は、エンコードしたデータをサーバ13に送信する。
また、表示制御部202は、視聴モードにおいて、サーバ13から受信した配信ユーザのトラッキングデータをアバターデータ221に適用してアニメーションを生成する。また、サーバ13から受信したアバターオブジェクト以外のオブジェクト、投稿メッセージ等を合わせてディスプレイ28に出力する。さらに、表示制御部202は、サーバ13から受信した音声データを動画と同期させてスピーカ25から出力する。
次にサーバ13について説明する。サーバ13は、動画を配信するためのサービスを提供するサービス提供者等が用いるものである。サーバ13は、制御部30と、通信I/F34と、ストレージ35とを備えている。制御部30は、ユーザ装置12の制御部20と同様な構成である。制御部30は、複数の演算回路を組み合わせて構成されていてもよい。また、通信I/F34及びストレージ35は、ユーザ装置12と同様な構成である。サーバ13は1つの装置から構成されていてもよく、複数の装置から構成されていてもよい。サーバ13が複数の装置から構成される場合、それらの装置は、制御部30の機能、ストレージ35に格納された各種のデータを分散して備える。
ストレージ35には、配信プログラム353が格納されている。制御部30は、配信プログラム353を実行することにより、配信管理部301、購入処理部302として機能する。
配信管理部301は、ユーザ装置12から受信した各種データをストレージ35に記憶するとともに、ユーザ装置12から受信した購入要求等に基づき、購入処理部302に要求を出力する。さらに、配信管理部301は、ユーザ装置12から要求されたデータをストレージ35等から取得してユーザ装置12に送信する。具体的には、配信管理部301は、視聴ユーザが用いるユーザ装置12からの要求に応じて、配信中の動画のリストを送信する。配信管理部301は、リストの中から選択された動画の識別情報をユーザ装置12から受信する。また、配信管理部301は、選択された動画の配信ユーザが用いるユーザ装置12から取得したトラッキングデータ等をユーザ装置12に送信する。また、配信管理部301は、配信中の動画に対して視聴ユーザから投稿された投稿メッセージ等を受信する。さらに配信管理部301は、受信した投稿メッセージを、配信ユーザのユーザ装置12及び視聴ユーザのユーザ装置12に送信する。投稿メッセージには、メッセージの内容の他、視聴ユーザの識別情報(ユーザのアカウント名等)、投稿日時等が含まれる。また、動画に表示されるメッセージには「ユーザAさん入室しました」の通知メッセージも含まれる。
配信管理部301は、視聴ユーザが用いるユーザ装置12から、視聴中の動画へのオブジェクトの表示要求を受信する。表示要求が行われるオブジェクトは仮想空間内に表示されるオブジェクトであって、視聴ユーザから、動画を配信する配信ユーザに提供されるギフトオブジェクト、動画を好評価する評価オブジェクト等を含む。ギフトオブジェクトは、対価を支払わずに表示要求を行うことのできるものであってもよく、対価を払うことによって表示要求を行うものであってもよい。又は、ギフトオブジェクトは、表示要求に応じて表示がなされた場合に対価を支払うものであってもよい。配信管理部301は、ギフトオブジェクトの表示要求を、ギフトオブジェクトの識別情報とともに配信ユーザのユーザ装置12及び視聴ユーザのユーザ装置12に送信する。サーバ13は、ギフトオブジェクトの表示要求がサーバ13によって受け付けられたとき、又は表示要求に対する配信ユーザによる所定の操作がなされたとき等、所定のタイミングで、「ユーザBさんが花火を贈りました」等の通知メッセージを配信ユーザのユーザ装置12及び視聴ユーザのユーザ装置12に送信する。
購入処理部302は、ユーザの操作に従って、オブジェクトの購入処理を行う。購入処理には、動画アプリケーションプログラム内で利用可能なコイン、ポイント、チケット等の対価(媒体)を支払う処理が含まれる。また、購入処理には、オブジェクトの交換、売却、譲渡の処理を含めてもよい。また、購入処理部302は、対価が支払われることにより、複数のオブジェクトの中から所定数のオブジェクトが選択される抽選(ガチャ)を実行するようにしてもよい。購入処理部302は、購入されたオブジェクトを、ユーザに関連付けてユーザ装置12及びサーバ13の少なくとも一方に記録する。配信モード(又は配信を開始する前のクローゼットモード)においてユーザがオブジェクトを購入したとき、購入処理部302は、購入したオブジェクトの識別情報を購入したユーザに関連付けてストレージ35に記憶してもよい。また、視聴モードにおいてユーザがオブジェクトを購入すると、購入処理部302は、購入したオブジェクトの識別情報を、動画を配信する配信ユーザに関連付けてストレージ35に記憶してもよい。購入可能なオブジェクトの売上は、例えば配信ユーザ及びサービス提供者に分配される。
次に、サーバ13のストレージ35に格納された各種のデータについて説明する。ストレージ35には、配信プログラム353のほか、ユーザ管理データ350、アバターデータ351、オブジェクトデータ352が格納されている。
ユーザ管理データ350は、動画アプリケーションプログラムを用いるユーザに関する情報である。アバターデータ351は、アバターオブジェクトを描画するためのマスターとなるデータであって、ユーザ装置12の要求に応じて、ユーザ装置12に送信される。
オブジェクトデータ352は、ギフトオブジェクトを描画するためのマスターとなるデータであって、ユーザ装置12の要求に応じて、ユーザ装置12に送信される。オブジェクトデータ352には、ポリゴンデータ等のギフトオブジェクトを描画するためのデータの他、ギフトオブジェクトの属性情報が含まれる。
次に図2を参照して、ユーザ管理データ350について説明する。ユーザ管理データ350は、ユーザ毎に記憶されている。ユーザ管理データ350は、ユーザの識別情報(ユーザID)、コイン等の購入媒体、ポイント、配信状況等を含む。コインは、ユーザによって購入されたものである。ポイントは、配信を行ったとき、イベントに参加したとき、又はオブジェクト等を売却したとき等、所定のタイミングでユーザに付与される。配信状況は、ユーザが動画を配信している間に受け付けたギフトオブジェクトの識別情報、メッセージに関する情報等を含む。なお、ユーザ管理データ350には、コイン及びポイントのいずれかのみが格納されていてもよい。
<ギフトオブジェクト>
次に、ギフトオブジェクトについて説明する。本実施形態では、ギフトオブジェクトには、視聴ユーザが用いるユーザ装置12による表示要求の送信を契機として表示される第1ギフトオブジェクトと、視聴ユーザが送信した表示要求を契機とせずに表示される第2ギフトオブジェクトとが含まれる。第2ギフトオブジェクトは、動画の配信状況が第2ギフトオブジェクトの表示条件を満たした場合に、サーバ13が配信プログラム353を実行することにより動画に表示される。なお、第1ギフトオブジェクト及び第2ギフトオブジェクトを区別しないで説明する場合には、単にギフトオブジェクトとして説明する。
第2ギフトオブジェクトの表示条件の一例は、予め定めた期間内に動画の配信が開始されたことである。例えば「19:00~20:00」等の予め定めた期間内に動画が配信された場合、動画配信時点から所定時間経過後に提供オブジェクトが動画に表示される。又は、予め定めた期間内に動画が配信されたことを条件に、配信ユーザが、第2ギフトオブジェクトの表示のタイミングを決定するようにしてもよい。この場合、例えば第2ギフトオブジェクトの表示を実行するための操作部を画面に表示し、配信ユーザによる操作部の操作を受け付けた場合に第2ギフトオブジェクトを表示してもよい。
第2ギフトオブジェクトの表示条件は、動画の配信に関する条件であればよい。例えば表示条件の他の一例は、配信回数、複数回の動画の配信時間を累積した累積配信時間が所定値を満たしたことであってもよい。また、第2ギフトオブジェクトの表示条件の他の一例は、予め定めたアバターオブジェクトやその他のオブジェクトを用いて動画を配信することであってもよい。
なお、配信状況が第2ギフトオブジェクトの表示条件を満たしたことに代えて若しくは加えて、視聴状況が第2ギフトオブジェクトの表示条件が満たした場合に、第2ギフトオブジェクトを表示するようにしてもよい。視聴状況とは、例えば視聴者数、ユーザ一人当たりの視聴時間、動画を視聴する視聴ユーザの視聴時間を累積した累積視聴時間等である。これらが所定値以上である場合に第2ギフトオブジェクトを表示してもよいし、これらが所定値未満である場合に第2ギフトオブジェクトを表示するようにしてもよい。
<動画配信方法>
動画の配信方式としては、配信ユーザが用いるユーザ装置12が動画データを生成しエンコードして視聴ユーザが用いるユーザ装置12に送信する映像配信方式と、配信ユーザが用いるユーザ装置12に加え視聴ユーザが用いるユーザ装置12が動画の生成に必要なデータを取得して動画を生成するクライアントレンダリング方式がある。本実施形態では、クライアントレンダリング方式でユーザ装置12に動画を表示させる方法について説明する。なお、配信ユーザが用いるユーザ装置12が生成した動画データを用いて、視聴ユーザが用いるユーザ装置12がオブジェクト等のレンダリングやそのほかの画像処理を行うハイブリッド方式であってもよく、またはサーバ13で動画を生成する方式であってもよく、その他の動画の配信方式であってもよい。
<オブジェクトの描画>
次に図3~図8を参照して、動画におけるアバターオブジェクト及びその他のオブジェクトの描画方法について説明する。
図3は、配信ユーザ100と配信ユーザ100が用いるユーザ装置12を示す。ここでは、ユーザ装置12はスマートフォンである。なお、配信モードに設定されたユーザ装置12を、説明の便宜上「配信ユーザ装置12A」という。配信ユーザ100は、アプリケーションプログラムを配信モードにする。また、配信ユーザ100は、少なくとも自身の顔がセンサユニット24の検出範囲101に含まれるように配信ユーザ装置12Aと対峙して、アプリケーションプログラムを実行する。なお、図3に示す検出範囲101は一例であって、図示する範囲に限定されるものではない。
配信ユーザ装置12Aは、センサユニット24から出力されたトラッキングデータをアバターデータ221に適用して、アニメーションを生成する。ユーザ装置12のディスプレイ28には、アバターオブジェクトを含む仮想空間の動画が表示される。仮想空間内の仮想カメラとアバターオブジェクトの相対距離は、配信ユーザ100とセンサユニット24との相対距離に応じて変化する。つまり、現実世界での相対距離が短くなるほど、仮想カメラとアバターオブジェクトの相対距離も短くなる。
図4は、仮想空間102に配置されたアバターオブジェクト105と、アバターオブジェクト105に設定されたローカル座標系106を示す。ローカル座標系106は、3次元座標を有する個々のオブジェクトに設定された座標系である。仮想空間102の全体には、ワールド座標系103が設定されている。アバターオブジェクト105は、配信ユーザ100の操作部27の操作に基づき、ローカル座標系106を基準に動作する。
アバターオブジェクトの動作を制御する方法は特に限定されないが、例えば図4中の操作方向107の各々のうち、ユーザがユーザ装置12の操作部27であるタッチパネルを右方向にスワイプすると、アバターオブジェクト105は、ローカル座標系のZ軸を中心としたZ軸回転方向108に回転する。つまり、アバターオブジェクト105は、立ち位置を変更することなく、ローカル座標系106のZ軸を中心に自身からみて左に向かって回転する。このときアバターオブジェクト105は、スワイプ操作の長さに応じた回転量だけ回転する。同様に、配信ユーザ100が配信ユーザ装置12Aの操作部27を左方向にスワイプすると、アバターオブジェクト105は、ローカル座標系106のZ軸を中心としたZ軸回転方向108と反対方向に回転する。
また、配信ユーザ100が配信ユーザ装置12Aの操作部27を上方向にスワイプすると、アバターオブジェクト105は、ローカル座標系106のX軸を中心としたX軸回転方向109に回転する。つまり、アバターオブジェクト105は、ワールド座標系103のZ方向であって、三次元仮想空間の上方を仰ぎ見る。同様に配信ユーザ100が配信ユーザ装置12Aの操作部27を下方向にスワイプすると、アバターオブジェクト105は、ローカル座標系のX軸を中心としたX軸回転方向109と反対方向に回転する。つまり、アバターオブジェクト105は、ワールド座標系103のZ方向と逆方向であって、仮想空間の下方を見る。
また、アバターオブジェクト105には、エモート機能(表現機能)が適用可能である。エモート機能とは、動画アプリケーションプログラム220が発現可能な機能の一つであり、アバターオブジェクトの動作や表情を発動する機能であって、アバターオブジェクト105の手、腕、頭部等の部位の各階層に関連付けられたコンポーネントである。アバターオブジェクト105には、例えば「拍手」、「手を振る」、「手を合わせる」、「ピース」等の所定数の基本的なエモート機能が適用可能となっている。例えば「手を振る」には、アバターオブジェクト105の「右手」の階層に、手を振るアニメーションが関連付けられている。配信ユーザ100は、操作部27に対し所定の操作を行って、それらのエモート機能のうち一つを選択する。配信ユーザ装置12Aは、選択されたエモート機能をアバターオブジェクト105に適用し、アバターオブジェクト105を動作させる。
次に図5を参照して、ギフトオブジェクトの描画について説明する。ギフトオブジェクトの各々は、仮想空間102における表示領域又は表示位置が関連付けられている。表示領域又は表示位置は仮想空間102の座標で表されている。ギフトオブジェクトの表示位置は、オブジェクトの種類によって異なる。例えばユーザ装置12は、「ぬいぐるみ」等のギフトオブジェクト111をアバターオブジェクト105の前方領域110の何れかの位置に表示する。ユーザ装置12又はサーバ13は、アバターオブジェクト105の前方領域110のうち、表示位置をランダムに選択する。このとき、ユーザ装置12は、ギフトオブジェクト111を仮想空間の上方から下方に向かって移動させてもよい。また、ギフトオブジェクト111は前方領域110に出現した後、前方領域110内で移動してもよい。
また、ユーザ装置12は、例えば「掛け軸」等のギフトオブジェクト113を、アバターオブジェクト105の後方領域の予め指定された複数の表示位置112のいずれかに表示する。表示位置112には、順番が割り振られている。ユーザ装置12は、この表示位置112が関連付けられたギフトオブジェクト113を、順番に従って複数の表示位置112のうち選択された一の表示位置112に配置する。
サーバ13が、視聴ユーザが用いるユーザ装置12から、表示位置112に関連付けられたオブジェクトであって、表示位置112の数を超えるギフトオブジェクト113の表示要求を受信した場合について説明する。表示位置112にギフトオブジェクトが表示されていない状態で、サーバ13が「オブジェクト1」で示されるギフトオブジェクト113、「オブジェクト2」で示されるギフトオブジェクト113を受信した場合には、ユーザ装置12はサーバ13から送信された指示に従って表示位置112の各々に、順番に従ってギフトオブジェクト113を表示する。
そして、表示位置112に空きが無い状態において、サーバ13が新たに「オブジェクト3」で示すギフトオブジェクト113、「オブジェクト4」で示すギフトオブジェクト113の表示要求を視聴ユーザのユーザ装置から受信すると、サーバ13は、それらのギフトオブジェクト113の識別情報を待機列114に追加する。なお、説明の便宜上、図5に待機列114を模式的に表示しているが、待機列114に追加されたギフトオブジェクト113は画面に表示されない。
待機列114に追加されたギフトオブジェクト113は、表示位置112に表示される順番を待機する。ユーザ装置12は、既に表示されたギフトオブジェクト113について、非表示条件が満たされると非表示とする。非表示条件は、ギフトオブジェクト113の表示時間が所定時間に達すること、動画の配信終了時刻又は配信終了時刻よりも所定時間前に達すること、配信ユーザ又は視聴ユーザがギフトオブジェクトを非表示とする操作を行ったこと等である。例えば「オブジェクト1」のギフトオブジェクト113の非表示条件が満たされるとユーザ装置12はギフトオブジェクト113を非表示とする。その結果、ギフトオブジェクト113が表示されていた表示位置112が空く。次いで、ユーザ装置12は、サーバ13からの要求に基づき、待機列114の先頭のギフトオブジェクト113を、図5中の矢印115に示すように、空いた表示位置112に表示する。また、サーバ13は、待機列114で待機するギフトオブジェクト113が残っている場合には、図5中の矢印116に示すように待機の順番を繰り上げる。
待機列114に追加されるギフトオブジェクト113は、第1ギフトオブジェクトのみであってもよいし、第1ギフトオブジェクト及び第2ギフトオブジェクトが混じっていてもよい。第1ギフトオブジェクト及び第2ギフトオブジェクトが同じ表示位置112に関連付けられている場合、サーバ13は、表示要求を受信した又は第2ギフトオブジェクトを表示すると判定したタイミングで、それらのギフトオブジェクトの識別情報を待機列114に追加する。
他の態様として、第1ギフトオブジェクト及び第2ギフトオブジェクトが同じ表示位置112に関連付けられており、同じ期間内に、サーバ13が第1ギフトオブジェクトの表示要求をユーザ装置12から受信し、サーバ13が配信プログラム353に従って第2ギフトオブジェクトを表示すると判定した場合、第1ギフトオブジェクト及び第2ギフトオブジェクトのいずれかを優先させてもよい。例えば、サーバ13は、第1ギフトオブジェクトの表示を優先させてもよい。この場合、待機列114に第2ギフトオブジェクトの識別情報が含まれていても、その第2ギフトオブジェクトよりも前の順番に、第1オブジェクトの識別情報を割り当てて、第2ギフトオブジェクトよりも先に表示してもよい。同様に、サーバ13は、第2ギフトオブジェクトの表示を優先させてもよい。この場合、待機列114に第1ギフトオブジェクトの識別情報が含まれていても、第1ギフトオブジェクトよりも先に表示してもよい。
他の態様として、待機列114に第2ギフトオブジェクトを追加せず、待機列114に含まれる全ての第1ギフトオブジェクトの表示が完了するのを待って、第2ギフトオブジェクトを表示するようにしてもよい。具体的には、サーバ13は、第2ギフトオブジェクトを表示すると判定すると、第1ギフトオブジェクトの表示要求の受信を停止する。このとき、ユーザ装置12にギフトオブジェクトの一覧を表示させないようにしてもよいし、ギフトオブジェクトの一覧を表示するがギフトオブジェクトを選択不可能としてもよい。
他の態様として、イベントに参加する場合等、動画の配信開始時点において第2ギフトオブジェクトを表示することが決定している場合には、サーバ13は、動画の配信開始時点から少なくとも第2ギフトオブジェクトの表示終了時点まで第1ギフトオブジェクトの表示要求を受け付けなくてもよい。
また、第2ギフトオブジェクトが表示されている期間においては、全ての第1ギフトオブジェクトを表示しないようにしてもよい。これは、例えば、第2ギフトオブジェクトは背景を含む規模の大きいものである場合があり、表示要求が行われた第1ギフトオブジェクトが第2ギフトオブジェクトの世界観に合わなかったり、第1ギフトオブジェクトがアバターオブジェクト105や他のオブジェクトと意図しない干渉を生じるおそれがあったりするためである。この態様において、第2ギフトオブジェクトが表示されている期間等の所定期間中に、サーバ13が、第1ギフトオブジェクトの表示要求を受け付けないようにしてもよい。又は、サーバ13は、第2ギフトオブジェクトが表示されている期間中に第1ギフトオブジェクトの表示要求を受け付け可能とし、第2ギフトオブジェクトの表示が終了した場合に、第1ギフトオブジェクトを表示するようにしてもよい。
次に図6及び図7を参照して、コラボレーション配信(共演機能)について説明する。コラボレーション配信では、複数の配信ユーザが自身のアバターオブジェクトを一つの動画に表示させることができる。本実施形態では、配信ユーザがコラボレーション配信を許可又は禁止する設定を行い、視聴ユーザが、コラボレーション配信が許可された配信中の動画に自身に対応するアバターオブジェクトを表示させる。コラボレーション配信に参加するにあたり、視聴ユーザが用いるユーザ装置12は、サーバ13を介して、配信ユーザ100が用いるユーザ装置12に参加要請を送信する。配信ユーザが参加要請を承認すると、配信ユーザ100がホストユーザ、参加要請を行った視聴ユーザがゲストユーザとなる。
図6は、ホストユーザに対応するアバターオブジェクト(以下、ホストアバターオブジェクト105A)とゲストユーザに対応するアバターオブジェクト(以下、ゲストアバターオブジェクト120)とを模式的に示している。なお、ホストアバターオブジェクト105Aは第1アバターオブジェクト、ゲストアバターオブジェクト120は第2アバターオブジェクトにそれぞれ対応する。
ホストアバターオブジェクト105Aとともに共演が可能なゲストアバターオブジェクト120の数(以下、共演可能数)は予め決められている。サーバ13が、ユーザ装置12から、同じ期間に共演可能数以上の表示要求を受信した場合、表示要求の受け付けの順番に従ってゲストアバターオブジェクト120を表示する。まず最も先に表示要求が受け付けられたゲストアバターオブジェクト120を、ホストアバターオブジェクト105Aの隣等の表示位置121に表示する。そして、2番目以降に表示要求が受け付けられたゲストアバターオブジェクト120の識別情報を共演待機列122に追加する。図6では「ゲスト2」で示すゲストアバターオブジェクト120の識別情報、「ゲスト3」で示すゲストアバターオブジェクト120の識別情報が順に追加される。なお、説明の便宜上、図6に共演待機列122を模式的に表示しているが、共演待機列122に追加されたゲストアバターオブジェクト120は画面に表示されない。
また、コラボレーション配信を行う場合、ホストアバターオブジェクト105A及びゲストアバターオブジェクト120に関連付けて第2ギフトオブジェクト125を表示することができる。例えば、第2ギフトオブジェクト125は、ホストアバターオブジェクト105A及びゲストアバターオブジェクト120に装着される装着ギフトオブジェクトであってもよい。また、第2ギフトオブジェクト125は、ホストアバターオブジェクト105A及びゲストアバターオブジェクト120に適用されるエモート機能、又はエモート機能及びオブジェクトであってもよい。なお、第2ギフトオブジェクトとして提供されるエモート機能は、上述した基本機能以外のエモート機能である。
例えば、第2ギフトオブジェクトとしてのエモート機能は、同じく第2ギフトオブジェクトであるエモートオブジェクト125Aを持ち上げたり、振ったり、操作したりする機能であってもよい。具体的には、アバターオブジェクトの手や腕等の階層に、エモートオブジェクト125Aを関連付けるとともに、部位のアニメーションが関連付けられる。例えばアバターオブジェクトの「ジョッキ」であるエモートオブジェクト125Aを持ち上げる、「旗」を振る、「銃」を撃つ等である。基本機能以外のエモート機能は、サービス提供者等が新たに作成するのに比較的多くの工数が必要となるものであるため、「めがね」等の他のギフトオブジェクトに比べアプリケーション内での付加価値が高い。例えば、第1ギフトオブジェクトとしてエモート機能を提供する場合には、エモート機能以外の第1ギフトオブジェクトよりもコイン等の対価が高くなっている。特に初心者ユーザにとってはエモート機能を第1ギフトオブジェクトとして提供されることは稀である。しかし第2ギフトオブジェクトとして配信ユーザ100に提供することで、配信ユーザ100は、人気の有無、視聴ユーザ数に関係なく、基本機能以外のエモート機能を体験することができる。なお、第2ギフトオブジェクト125としてのエモート機能は、エモート機能が発現される前からアバターオブジェクト105に関連付けられていてもよい。エモート機能が提供された場合、ユーザ装置12は、サーバ13から、エモート機能を指定する識別情報と、そのエモート機能を発現するための指令とを受信する。そして、ユーザ装置12は、受信したエモート機能の識別情報及び指令に基づき、エモート機能を所定のタイミングで発現可能な状態とする。このように、ユーザ装置12が、各種のエモート機能のコンポーネントを予めダウンロードしておくことによって、動画配信中にエモート機能を第2ギフトオブジェクト125として提供された場合の通信量が少なくなる。よって、第2ギフトオブジェクト125としてエモート機能が提供された直後に、エモート機能を発現することも可能である。
また、エモート機能は、適用対象のアバターオブジェクト105が設定されている。例えば、エモート機能は、同じ「ジョッキを持ち上げる」という動作であっても、その適用対象として、アバターオブジェクト105に設定された性別(女性、男性)が設定されていてもよい。又は、エモート機能は、適用対象として、アバターオブジェクト105の年齢(子供、大人)、身長、人種、種別(人間、動物)が設定されていてもよい。ゲストアバターオブジェクト120は、退出条件が満たされると画面から退出し非表示となる。退出条件は、ホストアバターオブジェクト105Aが共演を開始した時点から経過した表示時間が所定時間に達すること、配信ユーザ又は視聴ユーザがゲストアバターオブジェクト120を退出させる操作を行ったこと等である。
図7に示すように、ゲストアバターオブジェクト120の退出条件が満たされると、ユーザ装置12は、矢印126に示すようにゲストアバターオブジェクト120を表示位置121から退出させる。これにより、ゲストアバターオブジェクト120が表示されていた表示位置121が空く。ユーザ装置12は、矢印127に示すように、その空いた表示位置121に、共演待機列122の先頭のゲストアバターオブジェクト120を表示させる。なお、退出したゲストアバターオブジェクト120に代わって表示されるゲストアバターオブジェクト120は第3アバターオブジェクトに対応する。図6及び図7に示す例では「ゲスト2」のゲストアバターオブジェクト120を表示位置121に表示させる。また、サーバ13は、矢印128に示すように、共演待機列122で待機するギフトオブジェクトがある場合には、その順番を繰り上げる。図6及び図7に示す例では「ゲスト3」のゲストアバターオブジェクト120の順番を繰り上げる。
ゲストアバターオブジェクト120に第2ギフトオブジェクト125が関連付けられて表示されている場合、ユーザ装置12は、ゲストアバターオブジェクト120が退出すると同時に第2ギフトオブジェクト125も非表示とする。第2ギフトオブジェクト125は、ゲストアバターオブジェクト120とともに画面外へ移動させてもよいし、退出条件が満たされた直後に消滅させて非表示としてもよい。
そして、ユーザ装置12は、新たなゲストアバターオブジェクト120を表示すると、そのゲストアバターオブジェクト120に関連付けて新たな第2ギフトオブジェクト125を新たに表示する。例えば第2ギフトオブジェクトがエモート機能であった場合、新たなゲストアバターオブジェクト120にエモート機能を関連付ける。このとき、ユーザ装置12は、ゲストアバターオブジェクト120の各々に同じ第2ギフトオブジェクト125を関連付ける。なお、提供されたエモート機能が、オブジェクトの表示を伴わなくてもよい。この場合、エモート機能は演出ギフトである。
他の態様として、ユーザ装置12は、サーバ13の要求に基づいて、ゲストアバターオブジェクト120毎に第2ギフトオブジェクト125を変更してもよい。このとき、サーバ13は、複数の異なる第2ギフトオブジェクト125を含むオブジェクト群から一つ又は複数の第2ギフトオブジェクト125を選択し、選択した第2ギフトオブジェクト125をゲストアバターオブジェクト120に関連付けて表示してもよい。この態様において、サーバ13は、ゲストアバターオブジェクト120と第2ギフトオブジェクト125とを予め関連付けたデータを用いて、ゲストアバターオブジェクト120を表示した際に、そのゲストアバターオブジェクト120に関連付けられた第2ギフトオブジェクト125を表示するようにしてもよい。又はゲストアバターオブジェクト120の属性情報に基づいて第2ギフトオブジェクト125を表示するようにしてもよい。属性情報は、特に限定されないが、ゲストアバターオブジェクトが属するグループ、希少度、身長や性別や設定年齢等であってもよい。例えば女性のゲストアバターオブジェクト120には、女性用の装着オブジェクトである第2ギフトオブジェクト125を表示してもよい。また、サーバ13は、乱数を用いた方法等、所定の抽選方法を用いて第2ギフトオブジェクト125を選択するようにしてもよい。
又は、ユーザ装置12は、特定のホストアバターオブジェクト105Aを用いて動画が配信された場合のみ、ホストアバターオブジェクト105A及びゲストアバターオブジェクト120の少なくとも一方に第2ギフトオブジェクト125を関連付けて表示するようにしてもよい。また、ユーザ装置12は、特定のゲストアバターオブジェクト120が共演した場合のみ第2ギフトオブジェクト125を関連付けて表示するようにしてもよい。つまり、特定のゲストアバターオブジェクト120以外のゲストアバターオブジェクト120が共演した場合には、第2ギフトオブジェクト125を表示せず、特定のゲストアバターオブジェクト120が共演した場合には、そのゲストアバターオブジェクト120に第2ギフトオブジェクト125を関連付けて表示する。第2ギフトオブジェクト125が関連付けて表示されるゲストアバターオブジェクト120は、例えばアプリケーションプログラムのお知らせ画面やホーム画面でイベントの一つとして掲示するようにしてもよい。又は、第2ギフトオブジェクト125が関連付けて表示されるゲストアバターオブジェクト120は、予め通知されず、ホストアバターオブジェクト105Aと共演するまで、そのゲストアバターオブジェクト120に対し第2ギフトオブジェクト125が付与されるか否かがわからないようにしてもよい。
他の態様として、ホストアバターオブジェクト105Aに関連付けられて表示された第2ギフトオブジェクト125の一部又は全部は、そのホストアバターオブジェクト105Aに対応するホストユーザに付与されてよい。また、ゲストアバターオブジェクト120に関連付けられて表示された第2ギフトオブジェクト125の一部又は全部は、そのゲストアバターオブジェクト120に対応するゲストユーザに付与されてよい。この態様において、サーバ13は、第2ギフトオブジェクト125の一部又は全部を使用可能な状態として、ユーザに対応するユーザ管理情報223及びユーザ管理データ350を更新する。プレゼントとしてのオブジェクトや動作を付与されたユーザのユーザ装置12は、ユーザによる入力操作を受け付けて、オブジェクトを仮想空間102に表示したり、アバターオブジェクト105に動作を適用したりすることができる。
<画面構成>
次に図8~図15を参照してユーザ装置12に表示される配信画面について説明する。
図8は、配信ユーザ装置12Aに表示される配信画面150である。なお、視聴ユーザのユーザ装置12のディスプレイ28には、操作ボタン等は異なるが、同様のアニメーションが表示される。
アバターオブジェクト105の顔は、配信ユーザの表情の変化に伴い変化し、アバターオブジェクト105の頭部は、配信ユーザの頭部の動きに伴い動く。また、上述したように、アバターオブジェクト105の位置は、配信ユーザ100とセンサユニット24との相対距離の変化に応じて変化する。配信画面150には、メッセージ151が所定期間表示される。メッセージ151は、視聴ユーザのユーザ装置12から送信されたメッセージ、サーバ13が自動的に送信したメッセージを含む。また、配信画面150には、各種の操作部が表示されている。例えば、配信画面150には、コメントボタン152、音声切替ボタン153、ゲームボタン154、外部動画表示ボタン155が表示されていてもよい。コメントボタン152を選択すると、配信ユーザがコメントを入力することができる。入力されたコメントは、動画に表示される。音声切替ボタン153が選択されると、音声の入力を切り替えることができる。ゲームボタン154を選択すると、動画内でゲームを開始することができる。外部動画表示ボタン155が選択されると、外部のサーバ又はサーバ13から、動画を取得する操作を開始することができる。コラボレーション設定ボタン156を選択すると、コラボレーション配信に関する設定を行う画面を表示することができる。また、配信画面150には、配信ユーザのオブジェクトデータ352に基づいて、動画内に表示可能なオブジェクトを選択するためのボタンを表示してもよい。さらに、配信ユーザは、コラボレーション配信中に視聴ユーザからギフトが贈られた場合に、ギフトを付与する対象として、動画に表示された複数のアバターオブジェクト105又はアバターオブジェクト105に対応する配信ユーザを選択できるようにしてもよい。なお、視聴ユーザのユーザ装置12に表示される視聴画面には、メッセージの入力欄、ギフトオブジェクトの表示要求を行うための表示要求送信ボタン、共演を要請するためのボタンが含まれる。
図9は、配信ユーザ装置12Aに表示される配信画面160である。視聴ユーザがユーザ装置12を用いて参加要請を送信するための操作を行うと、配信画面160には承認要請ウィンドウ162が表示される。承認要請ウィンドウ162には、承認を待機(否認)する待機ボタン163、及び承認を行う承認ボタン164が表示されている。承認ボタン164が選択されると、サーバ13は、コラボレーション配信の共演待機列122に、参加要請を行ったユーザに対応するアバターオブジェクトの識別情報を追加して、コラボレーション配信の参加リストを作成する。
図10は、配信ユーザ装置12Aに表示されるコラボレーション配信画面170の一例を示す。なお、視聴ユーザのユーザ装置12のディスプレイ28にも同様の画面が表示される。コラボレーション配信画面170では、ホストユーザのホストアバターオブジェクト105Aと、ゲストユーザのゲストアバターオブジェクト120とが表示されている。ゲストアバターオブジェクト120は、ホストアバターオブジェクト105Aの隣の表示位置121に表示される。
次に図11~図15を参照して第2ギフトオブジェクト125が表示される例について説明する。第2ギフトオブジェクト125は、動画の配信開始時点から表示されていてもよいし、動画の配信開始時点では表示されず、動画の途中で表示するようにしてもよい。動画の途中で第2ギフトオブジェクト125を表示するにあたり、第2ギフトオブジェクト125の表示前と表示後との間に大きな差があり、急に表示すると不自然な場合には、第2ギフトオブジェクト125の表示前と表示後との間に待機画面を表示するようにしてもよい。
図11は、配信ユーザ装置12Aに表示される第2ギフトオブジェクトが表示された配信画面180を示す。視聴ユーザのユーザ装置12のディスプレイ28にも同様の画面が表示される。ここでの第2ギフトオブジェクト125は、「夜空」の背景125B、花火オブジェクト125Cのアニメーションを含む。なお、第1ギフトオブジェクトでは、背景125Bと背景125Bに合わせた花火オブジェクト125Cとを提供することはできない。例えば配信ユーザ100は、第2ギフトオブジェクト125の表示に合わせて、操作部27であるタッチパネルをスワイプし、アバターオブジェクト105を、アバターオブジェクト105からみて左方向に回転させるとともに、頭部を上方向に回転させて花火オブジェクト125Cを見上げるような姿勢にすることができる。
この花火オブジェクト125Cを含む第2ギフトオブジェクト125は、例えばその表示条件を、配信ユーザ100のイベントへの参加としている。配信ユーザは、イベントが開催される所定の期間内に動画の配信を開始することでイベントに参加することができる。また、イベントは、現実世界の花火大会の開催期間と同期させてもよい。
図12及び図13は、コラボレーション配信において、第2ギフトオブジェクト125としてエモート機能が提供された配信画面190を示す。視聴ユーザのユーザ装置12のディスプレイ28にも同様の画面が表示される。図12に示すように、配信画面190は、第2ギフトオブジェクト125として「キャンプ」の背景191を含む。背景191は、二次元画像であってもよいし、複数の三次元オブジェクトから構成されていてもよい。また、配信画面190は、ホストアバターオブジェクト105A、及びゲストアバターオブジェクト120の他、第2ギフトオブジェクト125としてホストアバターオブジェクト105Aに関連付けられたエモートオブジェクト125A及びゲストアバターオブジェクト120に関連付けられたエモートオブジェクト125Aを含む。また、配信画面190は、第2ギフトオブジェクト125として、ホストアバターオブジェクト105A及びゲストアバターオブジェクト120に装着され且つ背景191に応じた装着オブジェクト193を含んでいてもよい。例えば、ホストアバターオブジェクト105A及びゲストアバターオブジェクト120に「キャンプ」に関連する服装を装着オブジェクトとして提供してもよい。この装着オブジェクトは、ホストユーザ及びゲストユーザが、その装着オブジェクトを所持していなくても表示される。
配信画面190の場面におけるエモート機能は、エモートオブジェクト125Aである「ジョッキ」を持ち上げて「乾杯」の動作を行うこと、「ジョッキ」を持ったまま腕を下げること、「ジョッキ」で飲み物を飲む動作を行うこと、「ジョッキ」をテーブル等に置くことである。ホストユーザ又はゲストユーザが、配信画面190を長押しする等の所定の入力操作を行うと、エモート機能選択部192が表示される。エモート機能選択部192は、エモート機能の各々を選択可能になっている。例えばホストユーザが、ユーザ装置12の操作部27を操作してエモート機能を選択すると、ホストアバターオブジェクト105Aにエモート機能が適用される。ゲストユーザが、ユーザ装置12の操作部27を操作してエモート機能を選択すると、ゲストアバターオブジェクト120にエモート機能が適用される。なお、エモート機能選択部192は、選択操作部に対応する。
また、エモート機能が提供するアバターオブジェクト105の動作は、アバターオブジェクト105の位置を基準として定められる動作可能範囲内で行われるようにしてもよい。動作可能範囲は、例えば円筒状、球状、半球状等、仮想空間において3次元の座標を有する範囲として設定される。複数のアバターオブジェクト105がコラボレーション配信する場合には、アバターオブジェクト105の動作可能範囲の各々を互いに重ならないように設定してもよい。又は、アバターオブジェクト105の動作可能範囲の各々が重複する場合、一方のアバターオブジェクト105に属する部位が重複範囲に入ったとき、他方のアバターオブジェクト105に属する部位が重複範囲に入らないように制御してもよい。具体的には、ユーザ装置12が、アバターオブジェクト105の部位が重複範囲に含まれるか否かを判定し、部位が重複範囲に含まれる場合に他方のアバターオブジェクトの部位の重複範囲への進入を禁止する。また、アバターオブジェクト105の身長によって、動作方向を設定してもよい。例えば身長の高いアバターオブジェクト105が水平方向に「乾杯」の動作を行う際、身長の低いアバターオブジェクト105に干渉する可能性がある場合には、前者のアバターオブジェクト105の上方向又は正面の方向に動作させてもよい。これらの態様によれば、アバターオブジェクト105同士の干渉を抑制することができる。また、重複範囲を設ける場合には、アバターオブジェクト105を接近させた場合であっても干渉を抑制できる。
また、エモートオブジェクト125Aは、表示態様変化条件が満たされると、表示態様が変化する。表示態様変化条件は、例えばエモートオブジェクト125Aの表示が開始されてから所定時間経過したこと、例えば「飲む」等の所定のエモート機能の発現回数が所定回数に達したこと等である。初期状態のエモートオブジェクト125Aは、「飲み物が満杯」の状態であるが、所定時間経過すると「空」である遷移状態となる。
ゲストアバターオブジェクト120が退出すると、ゲストアバターオブジェクト120に関連付けられたエモートオブジェクト125Aも非表示となる。このとき、ゲストアバターオブジェクト120に関連付けられたエモートオブジェクト125Aを非表示とするとタイミングと同時に、ホストアバターオブジェクト105Aのエモートオブジェクト125Aを非表示としてもよい。
図13は、ゲストアバターオブジェクト120が退出し、新たなゲストアバターオブジェクト120が追加された配信画面190を示す。サーバ13は、新たなゲストアバターオブジェクト120を追加すると、ゲストアバターオブジェクト120に関連付けたエモートオブジェクト125Aも追加する。このとき、ゲストアバターオブジェクト120に関連付けられたエモートオブジェクト125Aを表示とするとタイミングと同時に、ホストアバターオブジェクト105Aに新たにエモートオブジェクト125Aを関連付けてもよい。これにより、「満杯」等の初期状態から「空」等の遷移状態になった「ジョッキ」のエモートオブジェクト125Aは、初期状態の「ジョッキ」のエモートオブジェクト125Aとなる。
図14は、コラボレーション配信において、第2ギフトオブジェクト125としてエモート機能が提供された配信画面200を示す。視聴ユーザのユーザ装置12のディスプレイ28にも同様のアニメーションが表示される。配信画面200は、第2ギフトオブジェクト125として「プール」の背景125Dを含む。また、配信画面200は、ホストアバターオブジェクト105A、及びゲストアバターオブジェクト120の他、第2ギフトオブジェクト125としてホストアバターオブジェクト105A及びゲストアバターオブジェクト120に関連付けられた「水鉄砲」のエモートオブジェクト125Aを含む。また、配信画面200は、第2ギフトオブジェクト125として、ホストアバターオブジェクト105A及びゲストアバターオブジェクト120に装着され且つ背景125Dに応じた装着オブジェクト203を含む。図示しないエモート機能選択部が操作されることによって、水鉄砲のエモートオブジェクト125Aから水が放射される。エモートオブジェクト125Aから水が放射される方向は一定であるが、ユーザの操作によってホストアバターオブジェクト105A及びゲストアバターオブジェクト120の向きを変更することにより、水の放射の向きを変更することができる。
図15は、現実世界の状況を示す情報に基づき第2ギフトオブジェクト125が提供された配信画面210を示す。視聴ユーザのユーザ装置12のディスプレイ28にも同様のアニメーションが表示される。配信画面210は、アバターオブジェクト105と、第2ギフトオブジェクト125として「飴」のギフトオブジェクト125Eと、「傘」のギフトオブジェクト125Fとを含む。ユーザ装置12は、現実世界で雨天となったときにこれらの第2ギフトオブジェクト125を表示する。この態様において、サーバ13は、配信ユーザ装置12Aの現在位置を取得する。また、サーバ13は、図示しない外部サーバから、取得した現在位置の天候情報を取得する。そしてサーバ13は、配信ユーザ装置12Aが存在する地域が雨天であると判定すると、上記のギフトオブジェクト125E,125Fの識別情報を表示の要求とともにユーザ装置12に送信する。ユーザ装置12は、ギフトオブジェクト125E,125Fの識別情報及び表示の要求を受信すると、ギフトオブジェクト125E,125Fの画像をストレージ22から読み出して表示する。なお、配信ユーザ装置12Aが、自身の現在位置から天候情報を取得し、サーバ13に送信するようにしてもよい。又は配信ユーザ装置12Aが、自身の現在位置から天候情報を取得し、取得した天候情報からギフトオブジェクト125E,125Fを表示するか否かを判断してもよい。また、現実世界の状況を示す情報は特に限定されないが、天候や配信ユーザ装置12Aが存在する地域(市街地、山間地等)等の環境情報、時刻情報、日にち情報、配信時の時期(季節等)といった情報がある。
現実世界の状況を示す情報に基づく第2ギフトオブジェクト125の表示条件は、例えば現実世界の状況を示す情報が変化したこと等である。
(動作)
次に、図16及び図17を参照して、ホストユーザと複数のゲストユーザとが共演する場合の処理手順について説明する。
図16は、第2ギフトオブジェクト125が表示されるイベントに配信ユーザ100が参加した場合のタイミングチャートである。イベントは、例えば「19:00~20:00」といった予め設定された期間内に開催される。第2ギフトオブジェクト125の表示条件は、この期間内に動画の配信を開始することである。図16に示すイベントのシナリオは「花火大会」のイベントのシナリオであって、「第1部」、「第2部」、「第3部」から構成され、各部においてそれぞれ異なる第2ギフトオブジェクト125が表示される。イベントの開始時点からイベントに参加した「配信ユーザA」が配信する動画では、サーバ13からの要求に基づき、各部の第2ギフトオブジェクト125が表示される。一方、「第2部」からイベントに参加した「配信ユーザB」が配信する動画では、サーバ13からの要求に基づき、「第2部」及び「第3部」で表示される第2ギフトオブジェクト125が表示され、「第1部」で表示される第2ギフトオブジェクト125は表示されない。また、各部の途中からイベントに参加した配信ユーザが配信する動画では、動画の配信開始時点に対応する時点からのアニメーションが表示されてもよい。このように途中からイベントに参加した配信ユーザ100の動画では、シナリオに沿って途中から第2ギフトオブジェクト125が表示されるため、第2ギフトオブジェクト125の表示を限定的なものにすることができる。よって、第2ギフトオブジェクト125がむやみに表示されないため、ギフトオブジェクトの価値の低下を抑制することができる。
図17は、コラボレーション配信において第2ギフトオブジェクトが表示される場合のホストユーザが用いる配信ユーザ装置12A、サーバ13、ゲストユーザである配信ユーザが用いる配信ユーザ装置12A、共演要請を行わない視聴ユーザが用いる視聴ユーザ装置12Bの処理手順を示す。前提として、配信ユーザ100は、コラボレーション配信を許可する設定を行っている。サーバ13は、視聴ユーザ装置12Bから参加要請を受信する。サーバ13は、参加要請を配信ユーザ装置12Aに送信し、配信ユーザ100は参加要請を許可する。このとき配信ユーザ装置12Aは参加要請の許可をサーバ13に送信する。サーバ13は、視聴ユーザをコラボレーション配信の参加リストに追加し、参加リストを配信ユーザ装置12A及び視聴ユーザ装置12Bに送信する。こうして、配信ユーザ100に対応するホストアバターオブジェクト105A及び共演が許可された視聴ユーザに対応するゲストアバターオブジェクト120が一つの画面に表示される。コラボレーション配信に参加した視聴ユーザは、ゲストユーザとしての配信ユーザとなる。
図17に示す例では、ゲストアバターオブジェクト120の表示と同時に第2ギフトオブジェクト125を表示することを想定している。コラボレーション配信を開始すると、配信ユーザ装置12Aは、動画の生成に用いられる動画構成データをサーバ13に送信する(ステップS11)。動画構成データは、少なくとも配信ユーザ100の動作をトラッキングしたトラッキングデータを含む。また、動画構成データは、音声データを含む。ホストアバターオブジェクト105Aの識別情報は、動画構成データに含まれていてもよく、動画構成データとは別に送信されてもよい。
サーバ13は、第2ギフトオブジェクト125の表示条件に基づき、第2ギフトオブジェクトを表示するか否かを判定する。第2ギフトオブジェクト125の表示条件は、上記したように配信ユーザ100がイベントに参加していること、配信ユーザ100のアバターオブジェクト105が所定のアバターオブジェクトであること、動画の配信開始時が所定の日にちや期間に含まれること等である。
サーバ13は、第2ギフトオブジェクトを表示すると判定すると、配信ユーザ装置12Aから受信した動画構成データとともに、ホストアバターオブジェクト105Aに関連付ける第2ギフトオブジェクトの識別情報(ID)をゲストユーザの配信ユーザ装置12A及び視聴ユーザ装置12Bに送信する(ステップS12)。また、サーバ13は、第2ギフトオブジェクト125の識別情報(ID)を配信ユーザ装置12Aにも送信する(ステップS13)。なお、アバターオブジェクトやギフトオブジェクトを描画するための各種のデータは、配信ユーザ装置12A及び視聴ユーザ装置12Bが予め取得している。
同様に、ゲストユーザが用いる配信ユーザ装置12Aは、動画構成データをサーバ13に送信する(ステップS14)。サーバ13は、配信ユーザ装置12Aから受信した動画構成データとともに、ゲストアバターオブジェクト120に関連付ける第2ギフトオブジェクトの識別情報(ID)を視聴ユーザ装置12Bに送信する(ステップS15)。また、サーバ13は、同様に動画構成データ及び第2ギフトオブジェクトの識別情報(ID)を配信ユーザ装置12Aに送信する(ステップS16)。さらに、サーバ13は、ゲストアバターオブジェクト120に関連付ける第2ギフトオブジェクトの識別情報(ID)を、ゲストユーザの配信ユーザ装置12Aに送信する(ステップS17)。
配信ユーザ装置12A及び視聴ユーザ装置12Bは、受信した動画構成データ及び第2ギフトオブジェクトの識別情報に基づき、ホストアバターオブジェクト105A、ゲストアバターオブジェクト120、第2ギフトオブジェクト125等を含むアニメーションを生成してディスプレイ28に表示する(ステップS17~ステップS19)。なお、ステップS11~ステップS17は適宜変更可能である。ステップS11~ステップS17の順序は変更されてもよいし、1つのステップが複数に分割されてもよいし、複数のステップが1つのステップにまとめられても良い。要は、ホストユーザの配信ユーザ装置12A及びゲストユーザの配信ユーザ装置12Aが動画構成データを送信し、サーバ13がギフトオブジェクトの識別情報を送信し、配信ユーザ装置12A及び視聴ユーザ装置12Bが、他の装置から送られた動画構成データ及びギフトオブジェクトの識別情報に基づいて動画を表示できればよい。
ゲストユーザのゲストアバターオブジェクト120が動画から退出すると、退出したゲストユーザは視聴ユーザとなる。そして、新たなゲストアバターオブジェクト120が動画に追加されると、配信ユーザ装置12A、サーバ13及び視聴ユーザ装置12Bは上記したステップS11~ステップS20を繰り返す。つまり、ホストアバターオブジェクト105Aに第2ギフトオブジェクト125を関連付けて表示し、新たなゲストアバターオブジェクト120に第2ギフトオブジェクト125を関連付けて表示する。なお、ホストアバターオブジェクト105Aは退出しないため、ホストアバターオブジェクト105Aに関連付けられた第2ギフトオブジェクト125はその表示を変更しなくてもよい。また、ゲストアバターオブジェクト120に関連付けて表示される第2ギフトオブジェクト125が、ゲストアバターオブジェクト120によって変化しない場合には、サーバ13は、配信ユーザ装置12A、視聴ユーザ装置12Bに対し、第2ギフトオブジェクト125の識別情報を1度だけ送信するようにしてもよい。この場合、配信ユーザ装置12A及び視聴ユーザ装置12Bは、ゲストアバターオブジェクト120を変更するたびに、サーバ13から受信した第2ギフトオブジェクト125の識別情報に基づき第2ギフトオブジェクト125を表示する。
このようにコラボレーション配信において第2ギフトオブジェクトの表示条件が満たされた場合に、ゲストアバターオブジェクト120が追加されるたびに第2ギフトオブジェクト125を表示する。このため、ゲストユーザのコラボレーション配信に対する満足度を高めることができる。また、コラボレーション配信に参加すれば第2ギフトオブジェクトが表示されることが予め通知されている場合には、視聴ユーザのコラボレーション配信に対する参加意欲を高めることができる。
図18は、第2ギフトオブジェクト125の表示条件を、視聴ユーザからのアクションの有無としてもよい。この場合、サーバ13は、ユーザ管理データ350を参照して、視聴ユーザからのアクションが所定時間以上無いか否かを判断する(ステップS21)。具体的には、配信中の動画に第1ギフトオブジェクトの表示要求を視聴ユーザ装置12Bから受信したか否かを判断する。このとき第1ギフトオブジェクトの表示要求に加え、メッセージの投稿がなされたか否かを判定してもよい。
サーバ13は、視聴ユーザからのアクションが所定時間内に行われたと判定すると(ステップS21:有り)、第2ギフトオブジェクト125を表示しない。一方、視聴ユーザからのアクションが所定時間内に行われていないと判定すると(ステップS21:無し)、第2ギフトオブジェクト125の識別情報を、配信ユーザ装置12A及び視聴ユーザ装置12Bに送信する。第2ギフトオブジェクト125の識別情報を受信した配信ユーザ装置12A及び視聴ユーザ装置12Bは、識別情報に対応する第2ギフトオブジェクト125を表示するためのデータを読み出して、ディスプレイ28に表示する(ステップS22)。このようにすると、第1ギフトオブジェクトの表示要求が少ない配信ユーザ100であっても、動画を盛り上げることができる。また、配信ユーザ100は動画の配信を継続する意欲が高められる。
次に、本実施形態の効果について説明する。
(1)ホストアバターオブジェクト105A及びゲストアバターオブジェクト120を動画に表示させるコラボレーション配信において、配信状況が第2ギフトオブジェクト125の表示条件を満たす場合のみ、第2ギフトオブジェクト125が表示される。このため、ギフトオブジェクトの付加価値の低下を抑制することができる。また、ゲストユーザに対応するゲストアバターオブジェクト120が新たに追加された場合に、ゲストアバターオブジェクト120に関連付けて第2ギフトオブジェクト125が表示される。このため、ホストユーザだけでなく、コラボレーション配信に参加する全てのゲストユーザの満足度を高めることができる。
(2)ユーザ装置12は、予め定めた期間内に動画を配信した場合に第2ギフトオブジェクト125が動画に表示される。また、シナリオの途中から動画の配信を開始した場合に、動画の配信開始時点に対応する場面から第2ギフトオブジェクト125の表示を開始する。このため、第2ギフトオブジェクト125の表示の機会が限定的となるため、第2ギフトオブジェクト125の付加価値の低下を抑制することができる。また、アプリケーション内でのユーザ共通のイベントとする場合には、複数の動画の間において第2ギフトオブジェクト125の表示を同期させることができるため、あたかも現実世界で生じているイベントのような動画を配信することができる。
(3)予め定めた期間内に動画の配信を開始した配信開始時点から所定時間経過後に第2ギフトオブジェクト125を表示する。よって、第2ギフトオブジェクト125の表示の機会が限定的となるため、第2ギフトオブジェクト125の付加価値の低下を抑制することができる。
(4)第1ギフトオブジェクトの表示要求等、視聴ユーザのアクティビティが無い状態が所定時間継続した場合に第2ギフトオブジェクト125を表示する。このため、第2ギフトオブジェクト125の表示を契機として、配信ユーザの表現の幅を拡大することができる。また、配信ユーザと視聴ユーザとのコミュニケーションを活発化させることができる。
(5)エモート機能選択部192が操作された場合に、第2ギフトオブジェクト125が動画に表示される。このため、ユーザが要望するタイミングで第2ギフトオブジェクト125を表示することができる。
(6)特定のアバターオブジェクトが動画に表示されている場合に第2ギフトオブジェクト125を表示するようにした。よって、第2ギフトオブジェクト125の表示の機会が限定的となるため、第2ギフトオブジェクト125の付加価値の低下を抑制することができる。また、特定のアバターオブジェクトが配信ユーザ100に使用される機会を増やすことができる。
(7)現実世界の天候等の外部状況が表示条件を満たす場合に第2ギフトオブジェクト125を表示する。よって、第2ギフトオブジェクト125の表示の機会が限定的となるため、第2ギフトオブジェクト125の付加価値の低下を抑制することができる。また、第2ギフトオブジェクト125の表示が外部状況と同期するため、動画を配信する季節や時間帯に応じて、変化に富んだ動画を表示することができる。
(8)アバターオブジェクト105のエモート機能が第2ギフトオブジェクト125として表示される。エモート機能の一部であるエモートオブジェクト125Aは、アバターオブジェクト105の各々を構成する部位に関連付けて表示される。エモート機能は他のギフトオブジェクトに比べ価値が高いため、エモート機能をギフトとして提供される機会が少ないユーザも、基本的なエモート機能以外のエモート機能を利用することができる。このため、ユーザの満足度を高めることができる。
(9)アバターオブジェクト105の背景を含む第2ギフトオブジェクト125が表示される。背景は他のギフトオブジェクトに比べ価値が高い。このため、第1ギフトオブジェクトとして背景が提供できない場合や、背景をギフトとして提供される機会が少ないユーザも、背景を利用する機会を得ることができる。このため、ユーザの満足度を高めることができる。
(10)アバターオブジェクト105の装着オブジェクトを含む第2ギフトオブジェクト125が表示されるため、ユーザの満足度を高めることができる。
(11)視聴ユーザが表示要求を行った第1ギフトオブジェクトが優先して表示されるため、第1ギフトオブジェクトの表示要求を送信した視聴ユーザの満足度を高めることができる。
(12)第2ギフトオブジェクトが優先して表示されるため、シナリオに沿った動画の進行が可能となる。
上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、ホストユーザが配信する動画に対し、共演要請をしてゲストユーザのアバターオブジェクトを動画に追加するようにした。これに代えて、ホストユーザ、ゲストユーザを決めず、予め定めたユーザに対応するアバターオブジェクトを共演させた動画を配信してもよい。
・上記実施形態では、エモート機能は、アバターオブジェクトの手や腕等の部位を動作させるものやアバターオブジェクトの表情に例示して説明したが、これに限定されない。エモート機能は、アバターオブジェクトの立ち位置を変更させたり、アバターオブジェクトを歩かせたり、踊らせたりするものであってもよい。
・上記実施形態では、サーバ13が、ユーザ装置12からのギフトオブジェクトの表示要求を受信して、ギフトオブジェクトの識別情報を待機列114に追加するようにした。これに代えて、配信ユーザのユーザ装置12が、サーバ13からギフトオブジェクトの表示要求を受信して、待機列114を管理するようにしてもよい。
・上記実施形態では、ユーザ装置12には、動画を視聴及び配信するための動画アプリケーションプログラムがインストールされているものとした。これに代えて、動画を視聴するためのアプリケーションプログラムと、動画を配信するためのアプリケーションプログラムとを別のアプリケーションプログラムとを分けてもよい。配信を行う場合には配信アプリケーションプログラムを用いて動画を配信する。視聴を行う場合には視聴アプリケーションプログラムを用いて動画を視聴する。ギフトオブジェクトの表示要求は、視聴アプリケーションプログラムを用いて行う。
・上記実施形態では、配信ユーザ装置12A及び視聴ユーザ装置12Bが動画構成データ等を受信して動画を生成するクライアントレンダリング方式を用いた。これに代えて若しくは加えて、配信ユーザ装置12Aが動画データをエンコードする映像配信方式を用いてもよい。図19に示すように、サーバ13が、ギフトオブジェクトの識別情報を配信ユーザ装置12Aに送信する(ステップS30)。配信ユーザ装置12Aは、受信したギフトオブジェクトの識別情報とトラッキングデータ等を用いてアニメーションを生成し、エンコードする(ステップS31)。このとき、視聴ユーザからのメッセージや音声データを、アニメーションと一緒にエンコードしてもよい。また、配信ユーザ装置12Aは、エンコードしたデータをサーバ13に送信する(ステップS32)。サーバ13は、エンコードしたデータを視聴ユーザ装置12Bに送信する(ステップS33)。また、配信ユーザ装置12Aは、トラッキングデータ及びギフトオブジェクトの識別情報を用いてアニメーションを表示する(ステップS34)。視聴ユーザ装置12Bは、エンコードされたデータをデコードして、アニメーションを表示する(ステップS35)。なお、コラボレーション配信を行う場合には、ゲストユーザとしての配信ユーザの配信ユーザ装置12Aは、動画構成データ等を受信して、動画構成データに基づいて動画を生成してもよい。又はゲストユーザとしての配信ユーザの配信ユーザ装置12Aは、ホストユーザである配信ユーザの配信ユーザ装置12Aから、エンコードされた映像データを受信するようにしてもよい。
・センサユニット24は、ユーザの表情の変化、頭部の動き、センサユニット24に対するユーザの相対位置を検出した検出データを取得するとしたが、このうち少なくとも一つであってもよい。また、センサユニット24は、ユーザの表情の変化、頭部の動き及びユーザの相対位置の少なくとも一つに加えて、若しくは代えて、頭部の動作以外の動きを検出した検出データ等のその他の検出データを取得してもよい。
・動画に表示される仮想空間は、拡張現実(AR;Augmented Reality)の空間であってもよい。例えば、ユーザ装置12のカメラが撮影した現実世界の画像に、アバターオブジェクト及びギフトオブジェクト等のアニメーションを重ねて表示してもよい。また、ユーザ装置12のカメラが撮影した、ユーザを含む現実世界の画像に、ギフトオブジェクト等のアニメーションを重ねて表示してもよい。
・上記実施形態では、ユーザ装置12は、スマートフォン、携帯電話機、タブレット端末、パーソナルコンピュータ、コンソールゲーム機、ヘッドマウントディスプレイ等のウェアラブルコンピュータ等の情報処理装置とした。これに代えて、動画配信用のスタジオに設けられたシステムであって、制御部20等を備える情報処理装置、配信ユーザの身体に装着されるセンサユニット24、センサユニット24の位置を検出するトラッキングシステム、操作部27、スピーカ25、ディスプレイ28を備えたシステムを、動画を配信するシステムとして用いてもよい。トラッキングシステムは、同期用のパルスレーザ光を出射する多軸レーザエミッターを備えていてもよい。センサユニット24は、レーザ光を検出するセンサを備え、同期パルスで同期をとりつつ、自らの位置及び向きを検出する。センサユニット24は、例えば、HTC Corporation(登録商標)から提供されているVive Tracker(登録商標)及びVive Base Stationを用いることができる。
・上記実施形態では、センサユニット24をユーザ装置12側に設けたが、この態様に限定されない。例えばセンサユニット24の少なくとも一部を、配信ユーザの身体に装着したり、配信ユーザの近傍に設けたりしてもよい。図20は、動画配信スタジオに設置された動画配信システムであって、カメラ229、マイク230、コントローラ226、及び配信サーバ228等を備える。また、動画配信システムは、配信ユーザ100に手足に装着された装着センサ227、装着センサ227の位置を特定するための位置検出部225等を含むトラッキングシステムを備える。カメラ229は、配信ユーザ100の顔を撮影する。配信サーバ228は、トラッングシステムから取得したトラッキングデータ、カメラ229から取得した表情データをアバターオブジェクトに適用したアニメーションを生成する。また、仮想空間の背景とアバターオブジェクトとをレンダリングしたアニメーションを音声とともに動画データとして視聴ユーザ装置12Bに配信する。また、例えば、トラッキングシステムは、配信ユーザの身体に装着されたマーカーを検出するカメラ等から構成してもよい。
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
〔1〕動画をディスプレイに表示するコンピュータを、第1ユーザの動きが反映される第1アバターオブジェクトと、第2ユーザの動きが反映される第2アバターオブジェクトとを動画に表示する第1画像処理部と、前記動画の配信状況が提供オブジェクトの表示条件を満たす場合に、前記第1アバターオブジェクトに関連付けた前記提供オブジェクトを表示するとともに、前記第2アバターオブジェクトに関連付けた前記提供オブジェクトを表示する第2画像処理部として機能させ、前記第2画像処理部は、第3ユーザに対応する第3アバターオブジェクトが新たに前記動画に追加された場合に、当該第3アバターオブジェクトに関連付けた前記提供オブジェクトを追加するプログラム。
〔2〕前記第2画像処理部は、アバターオブジェクトの各々を構成する部位に関連付けて前記提供オブジェクトを表示する〔1〕に記載のプログラム。
〔3〕前記第2画像処理部は、予め定めた期間に前記動画が配信された場合に前記提供オブジェクトの表示条件が満たされたと判定し、シナリオに沿って表示されるアニメーションを前記提供オブジェクトとして表示し、ユーザが前記期間内であって前記シナリオの途中から前記動画の配信を開始した場合に、前記動画の配信開始時点に対応する場面から前記提供オブジェクトの表示を開始する〔1〕又は〔2〕に記載のプログラム。
〔4〕前記第2画像処理部は、予め定めた期間に前記動画が配信された場合に前記提供オブジェクトの表示条件が満たされたと判定し、前記動画の配信開始時点から所定時間経過後に、前記提供オブジェクトを表示する〔1〕に記載のプログラム。
〔5〕前記第2画像処理部は、前記動画を視聴するユーザによる前記動画に対するアクティビティが無い状態が所定時間継続した場合に、前記提供オブジェクトを前記動画に表示する〔1〕~〔4〕のいずれか1項に記載のプログラム。
〔6〕前記第2画像処理部は、前記提供オブジェクトを前記動画に表示させるための選択操作部を前記動画に表示し、前記選択操作部が操作された場合に前記提供オブジェクトを前記動画に表示する〔1〕~〔5〕のいずれか1項に記載のプログラム。
〔7〕前記第2画像処理部は、特定のアバターオブジェクトが前記動画に表示されている場合に前記表示条件が満たされたと判断して前記提供オブジェクトを前記動画に表示し、前記動画に表示されたアバターオブジェクトが前記特定のアバターオブジェクトではない場合に前記提供オブジェクトを前記動画に表示しない〔1〕~〔6〕のいずれか1項に記載のプログラム。
〔8〕前記動画が配信されるときの外部状況を特定する外部状況特定部をさらに備え、前記第2画像処理部は、前記外部状況が前記提供オブジェクトの表示条件を満たす場合に、前記提供オブジェクトを表示する〔1〕~〔7〕のいずれか1項に記載のプログラム。
〔9〕前記第2画像処理部は、アバターオブジェクトの表現機能を含む前記提供オブジェクトを表示し、前記アバターオブジェクトに対応するユーザの操作に基づいて前記表現機能を発現する〔1〕~〔8〕のいずれか1項に記載のプログラム。
〔10〕前記第2画像処理部は、アバターオブジェクトの背景を含む前記提供オブジェクトを表示する〔1〕~〔8〕のいずれか1項に記載のプログラム。
〔11〕前記第2画像処理部は、アバターオブジェクトの部位に装着される装着オブジェクトを含む前記提供オブジェクトを表示する〔1〕~〔10〕のいずれか1項に記載のプログラム。
〔12〕動画をディスプレイに表示するコンピュータが、第1ユーザの動きが反映される第1アバターオブジェクトと、第2ユーザの動きが反映される第2アバターオブジェクトとを動画に表示する第1画像処理ステップと、前記動画の配信状況が提供オブジェクトの表示条件を満たす場合に、前記第1アバターオブジェクトに関連付けた提供オブジェクトを表示するとともに、前記第2アバターオブジェクトに関連付けた提供オブジェクトを表示する第2画像処理ステップとを実行し、前記第2画像処理ステップでは、第3ユーザに対応する第3アバターオブジェクトが新たに前記動画に追加された場合に、当該第3アバターオブジェクトに関連付けた提供オブジェクトを追加する情報処理方法。
〔13〕動画をディスプレイに表示する情報処理装置であって、第1ユーザの動きが反映される第1アバターオブジェクトと、第2ユーザの動きが反映される第2アバターオブジェクトとを動画に表示する第1画像処理ステップと、前記動画の配信状況が提供オブジェクトの表示条件を満たす場合に、前記第1アバターオブジェクトに関連付けた提供オブジェクトを表示するとともに、前記第2アバターオブジェクトに関連付けた提供オブジェクトを表示する第2画像処理ステップとを実行し、前記第2画像処理ステップでは、第3ユーザに対応する第3アバターオブジェクトが新たに前記動画に追加された場合に、当該第3アバターオブジェクトに関連付けた提供オブジェクトを追加する情報処理装置。
〔14〕動画をディスプレイに表示するユーザ装置に接続されたサーバであって、第1ユーザの動きが反映される第1アバターオブジェクトを描画するためのデータと、第2ユーザの動きが反映される第2アバターオブジェクトを描画するためのデータとを前記ユーザ装置に送信する描画データステップと、前記動画の配信状況が提供オブジェクトの表示条件を満たす場合に、前記第1アバターオブジェクトに関連付けた提供オブジェクトを表示するための要求とともに、前記第2アバターオブジェクトに関連付けた提供オブジェクトを表示するための要求を送信する表示要求送信ステップとを実行し、前記表示要求送信ステップでは、第3ユーザに対応する第3アバターオブジェクトが新たに前記動画に追加された場合に、当該第3アバターオブジェクトに関連付けた提供オブジェクトの表示要求を前記ユーザ装置に送信するサーバ。
〔15〕前記動画を視聴する視聴ユーザが用いるユーザ装置から第1ギフトオブジェクトの表示要求が行われた場合に、前記第1ギフトオブジェクトの識別情報を表示予定のギフトオブジェクトの待機列に追加する第3画像処理部をさらに備え、前記第3画像処理部は、前記提供オブジェクトである第2ギフトオブジェクトの識別情報が前記待機列に含まれている場合でも前記第1ギフトオブジェクトを優先させて表示する〔14〕に記載のサーバ。
〔16〕前記動画を視聴する視聴ユーザが用いるユーザ装置から第1ギフトオブジェクトの表示要求が行われた場合に、前記第1ギフトオブジェクトの識別情報を表示予定のギフトオブジェクトの待機列に追加する第3画像処理部をさらに備え、前記第3画像処理部は、前記第1ギフトオブジェクトの識別情報が前記待機列に含まれている場合でも前記提供オブジェクトである第2ギフトオブジェクトを優先させて表示する〔14〕に記載のサーバ。
〔17〕動画をディスプレイに表示するユーザ装置に接続されたサーバの情報処理方法であって、前記サーバが、第1ユーザの動きが反映される第1アバターオブジェクトを描画するためのデータと、第2ユーザの動きが反映される第2アバターオブジェクトを描画するためのデータとを前記ユーザ装置に送信する描画データ送信ステップと、前記動画の配信状況が提供オブジェクトの表示条件を満たす場合に、前記第1アバターオブジェクトに関連付けた提供オブジェクトを表示するための要求とともに、前記第2アバターオブジェクトに関連付けた提供オブジェクトを表示するための要求を送信する表示要求送信ステップとを実行し、前記表示要求送信ステップでは、第3ユーザに対応する第3アバターオブジェクトが新たに前記動画に追加された場合に、当該第3アバターオブジェクトに関連付けた提供オブジェクトの表示要求を前記ユーザ装置に送信する情報処理方法。