JP7465019B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法および情報処理プログラムに関する。

特許文献１には、観衆のリアクションを出演者にフィードバックするシステムが開示されている。

特開２００５－３０３７２２号公報

本開示の課題は、多様なフィードバックを可能とする情報処理装置、情報処理方法および情報処理プログラムを提供することである。

一態様によれば、演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、前記反応データに基づいて、前記少なくとも一部のユーザの感情が所定条件を満たすユーザを特定する第３手段と、前記特定されたユーザの出力提示装置が当該ユーザに作用するよう、前記出力提示装置に出力提示データを送信する第４手段と、を備える情報処理装置が提供される。

前記第４手段は、前記特定されたユーザの出力提示装置が当該ユーザに触覚を与えるための前記出力提示データを送信してもよい。

前記第４手段は、前記仮想空間に配置された前記ユーザアバターの位置に応じて、前記特定されたユーザの出力提示装置が当該ユーザに作用するよう、前記出力提示データを送信してもよい。

前記感情は、盛り上がり度であってよい。

別の態様によれば、演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、前記反応データに基づいて、前記少なくとも一部のユーザの感情が所定条件を満たすユーザを特定する第３手段と、前記特定されたユーザに対応するユーザアバターの態様を変更する第４手段と、を備える情報処理装置が提供される。

前記第４手段は、前記特定されたユーザに対応するユーザアバターの表示態様を変更してもよい。

前記第４手段は、前記特定されたユーザに対応するユーザアバターが、前記演者アバターからの作用を受けるよう、表示態様を変更してもよい。

前記特定されたユーザに対応するユーザアバターに対して前記演者アバターが作用を与えるよう、前記演者アバターの表示態様を変更する第５手段を備えてもよい。

前記第４手段は、前記仮想空間に配置された前記ユーザアバターの位置に応じて、前記特定されたユーザに対応するユーザアバターの態様を変更してもよい。

前記感情は、盛り上がり度であってよい。

前記反応データに基づいて、前記演者アバターの態様を変更する第６手段を備えてもよい。

前記第６手段は、前記演者アバターが前記特定されたユーザに作用するよう、前記演者アバターの態様を変更してもよい。

前記反応データに基づいて、前記仮想空間の演出を行う第７手段を備えてもよい。

前記第２手段は、各ユーザのユーザ端末から送信された前記反応データを取得してもよい。

別の態様によれば、第１手段が、演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置し、
第２手段が、前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得し、
第３手段が、前記反応データに基づいて、前記少なくとも一部のユーザの感情が所定条件を満たすユーザを特定し、
第４手段が、前記特定されたユーザの出力提示装置が当該ユーザに作用するよう、前記出力提示装置に出力提示データを送信する、情報処理方法が提供される。

別の態様によれば、情報処理装置を、演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、前記反応データに基づいて、前記少なくとも一部のユーザの感情が所定条件を満たすユーザを特定する第３手段と、前記特定されたユーザの出力提示装置が当該ユーザに作用するよう、前記出力提示装置に出力提示データを送信する第４手段と、として機能させる情報処理プログラムが提供される。

別の態様によれば、第１手段が、演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置し、第２手段が、前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得し、第３手段が、前記反応データに基づいて、前記少なくとも一部のユーザの感情が所定条件を満たすユーザを特定し、第４手段が、前記特定されたユーザに対応するユーザアバターの態様を変更する、情報処理方法が提供される。この情報処理方法では、第５手段が特定された仮想空間を複製した環境、第６手段が特定された時刻の開始時刻をずらして再生することによるタイムシフト記録再生環境とが構成要素として含まれてもよい。

別の態様によれば、別の態様によれば、情報処理装置を、演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想
空間に配置する第１手段と、前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、前記反応データに基づいて、前記少なくとも一部のユーザの感情が所定条件を満たすユーザを特定する第３手段と、前記特定されたユーザに対応するユーザアバターの態様を変更する第４手段と、として機能させる情報処理プログラムが提供される。

別の態様によれば、第１ユーザに用いられる情報処理であって、演者の動作に対応して動作する演者アバターと、少なくとも前記第１ユーザとは異なる第２ユーザに対応するユーザアバターと、が配置された仮想空間を表示させる第１手段と、前記第１ユーザの、前記仮想空間における演出に対する反応に関連する反応データを送信する第２手段と、前記第２ユーザの、前記仮想空間における演出に対する反応に関連する反応データに基づいて、前記第２ユーザの感情が所定条件を満たすとされた場合に、前記第２ユーザに対応するユーザアバターの態様が変更された前記仮想空間を表示させる第３手段と、を備える情報処理が提供される。

別の態様によれば、第１ユーザに用いられる情報処理装置が、演者の動作に対応して動作する演者アバターと、少なくとも前記第１ユーザとは異なる第２ユーザに対応するユーザアバターと、が配置された仮想空間を表示させ、前記第１ユーザの、前記仮想空間における演出に対する反応に関連する反応データを送信し、前記第２ユーザの、前記仮想空間における演出に対する反応に関連する反応データに基づいて、前記第２ユーザの感情が所定条件を満たすとされた場合に、前記第２ユーザに対応するユーザアバターの態様が変更された前記仮想空間を表示させる、情報処理方法が提供される。

別の態様によれば、第１ユーザに用いられる情報処理装置を、演者の動作に対応して動作する演者アバターと、少なくとも前記第１ユーザとは異なる第２ユーザに対応するユーザアバターと、が配置された仮想空間を表示させる第１手段と、前記第１ユーザの、前記仮想空間における演出に対する反応に関連する反応データを送信する第２手段と、前記第２ユーザの、前記仮想空間における演出に対する反応に関連する反応データに基づいて、前記第２ユーザの感情が所定条件を満たすとされた場合に、前記第２ユーザに対応するユーザアバターの態様が変更された前記仮想空間を表示させる第３手段と、として機能させる情報処理プログラムが提供される。

多様なフィードバックを実現できる。

第１の実施形態に係るコンテンツ配信システムの概略構成を示すブロック図。 図１のコンテンツ配信システムにおける配信者端末１４、サーバ３およびユーザ端末２２の内部構成を模式的に示すブロック図。 配信者端末１４の記憶部１４２に記憶される演者情報１４２１のデータ構造を模式的に示す図。 配信者端末１４の記憶部１４２に記憶される参加ユーザ情報１４２２のデータ構造を模式的に示す図。 サーバ３の記憶部３２に記憶される参加ユーザ情報３２１のデータ構造を模式的に示す図。 仮想ライブへの参加要求・受付手順の一例を示すフローチャート。 仮想ライブ会場を生成する手順の一例を示すフローチャート。 演者用の再生装置１２のディスプレイ１２１に表示される仮想ライブ会場を模式的に示す図。 ユーザ端末２２のタッチパネル２２４に表示される仮想ライブ会場を模式的に示す図。 ユーザ端末２２からのフィードバック処理を行う手順の一例を示すフローチャート。 仮想ライブ会場におけるユーザアバターの表示態様を変更する例を模式的に示す図。 仮想ライブ会場におけるユーザアバターの表示態様を変更する例を模式的に示す図。 仮想ライブ会場におけるユーザアバター９４および演者アバター９２が相互作用するよう表示態様を変更する例を模式的に示す図。 仮想ライブ会場におけるユーザアバター９４および演者アバター９２が相互作用するよう表示態様を変更する例を模式的に示す図。 仮想ライブ会場に演出がなされるよう仮想ライブ会場の表示態様を変更する例を模式的に示す図。 仮想ライブ会場に演出がなされるよう仮想ライブ会場の表示態様を変更する例を模式的に示す図。 図１２は、サーバ３がレンダリングを行うコンテンツ配信システムにおける配信者端末１４、サーバ３およびユーザ端末２２の内部構成を模式的に示す図。 図１２のコンテンツ配信システムにおいて、仮想ライブ会場を生成する手順の一例を示すフローチャート。 図１２のコンテンツ配信システムにおいて、ユーザ端末２２からのフィードバック処理を行う手順の一例を示すフローチャート。 ユーザ端末２２がレンダリングを行うコンテンツ配信システムにおける配信者端末１４、サーバ３およびユーザ端末２２の内部構成を模式的に示す図。 図１５のコンテンツ配信システムにおいて、仮想ライブ会場を生成する手順の一例を示すフローチャート。 図１５のコンテンツ配信システムにおいて、ユーザ端末２２からのフィードバック処理を行う手順の一例を示すフローチャート。 第２の実施形態に係るコンテンツ配信システムの概略構成を示すブロック図。 参加ユーザ情報１４２２のデータ構造の一例を模式的に示す図。 参加ユーザ情報１４２２のデータ構造の別の例を模式的に示す図。 参加ユーザ情報１４２２のデータ構造のまた別の例を模式的に示す図。 スクリーン４１に表示される仮想ライブ会場を模式的に示す図。 スクリーン４１に表示される仮想ライブ会場を模式的に示す図。 スクリーン４２に表示される仮想ライブ会場を模式的に示す図。

以下、実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
［コンテンツ配信システムの全体構成］
図１は、第１の実施形態に係るコンテンツ配信システムの概略構成を示すブロック図である。また、図２は、図１のコンテンツ配信システムにおける配信者端末１４、サーバ３およびユーザ端末２２の内部構成を模式的に示すブロック図である。

このコンテンツ配信システムは、演者の動作に対応して動作する演者アバターをＶＲ（Virtual Reality）空間に配置し、この演者アバターが配置されたＶＲ空間をコンテンツ
としてユーザに配信する。ユーザは自身のＨＭＤ（Head Mount Display）２１あるいはユーザ端末２２にコンテンツを出力させる。

以下では、コンテンツ配信システムが、ＶＲ空間としての仮想ライブ会場に演者アバターを配置し、コンテンツとして仮想ライブをユーザに配信する例を述べる。ユーザは仮想ライブを出力させることによって、仮想ライブに参加する。ユーザは、特定の会場に赴いて仮想ライブに参加してもよいし、自宅などで仮想ライブに参加してもよい。

また、本実施形態では、仮想ライブ会場には、演者アバターのみならず、仮想ライブに参加する各ユーザに対応するユーザアバターをも配置される。そして、仮想ライブに参加するユーザの反応が、演者、演者アバター、ユーザ、および／またはユーザアバターにフィードバックされ得る。以下、詳細に説明する。

図１に示すように、コンテンツ配信システムは、仮想ライブの配信を行う演者用の動作検出装置１１、再生装置１２、出力提示装置１３および配信者端末１４と、仮想ライブに参加する各ユーザが用いるＨＭＤ２１、ユーザ端末２２および出力提示装置２３と、サーバ３とを備えている。なお、仮想ライブに参加するユーザの数は任意である。

［演者用の各装置の構成］
演者用の動作検出装置１１は、スタジオにいる演者の実際の動作（発声を含む）をリアルタイムに検出し、検出した動作を示す動作情報を配信者端末１４に送信する。動作検出装置１１はウェアラブルセンサや入力装置から構成される。より具体的には、動作検出装置１１は、演者に装着されて演者の視線や向きを検出するＨＭＤ、演者が仮想的なオブジェクトを手に持ったり離したりするためのコントローラ、演者の動きを検出するモーションセンサ、演者の一部または全体を撮影するカメラ、演者の声を取得するマイクなどを含み得る。

具体例として、演者が右手を挙げると、動作検出装置１１は演者が右手を挙げたことを検出し、そのことを示す動作信号（動作情報）が配信者端末１４に送信される。また、演者が声を出すと、動作検出装置１１は演者の声を検出し、演者の声を示す動作信号（動作情報）が配信者端末１４に送信される。このような動作信号（動作情報）に応じて、仮想ライブ会場で動作する演者アバターが生成される。また、このような動作信号に応じて、個々の端末（例えば個々のユーザ端末２２）における再生速度やネットワーク経路の速度に依存せず、各再生端末（例えば個々のユーザ端末２２）の環境において適切な速度でアニメーションが再生される。

演者用の再生装置１２はディスプレイ１２１およびスピーカ１２２を含む。再生装置１２のディスプレイ１２１には、配信者端末１４によって生成される仮想ライブ会場の画像（映像）が表示される。スピーカ１２２からは、配信者端末１４によって生成される仮想ライブ会場の音声が出力される。

演者用の出力提示装置１３は、サーバ３からの出力提示情報（後述）に基づいて、仮想ライブ会場における演出に対するユーザの反応に応じたフィードバックを演者に与える。出力提示装置１３は演者に作用するものであればよく、主として触覚デバイスが考えらえるが、音響デバイス、映像デバイス、電飾（発光デバイス）などであってもよい。

触覚デバイスは、演者に対するフィードバックとして、振動したり、電気刺激を与えたり、吸引力・剪断力・締め圧を与えたりするアクチュエータ搭載デバイスである。また、触覚デバイスは、演者が装着するものであり、例えばペンダント型（例えば、ペンダントの内側に複数の振動アクチュエータを設けたもの、以下同じ）、腕輪型、ブレスレット型、ネックレス型でもよいし、ジャケット型でもよい。

音響デバイスは、演者に対するフィードバックとして、スピーカからストリーミング音声を出力したり、事前に準備した音声効果を出力したりする。なお、出力提示装置１３としての音響デバイスが、再生装置１２におけるスピーカ１２２の機能、振動アクチュエータの制御機能、および電飾の制御機能を兼ねていてもよい。

映像デバイスは、平板ディスプレイ、ＨＭＤ、ＡＲ（Artificial Reality）グラス、スマートウォッチなどである。そして、映像デバイスは、演者に対するフィードバックとして、ストリーミング動画、３Ｄレンダリングのためのアニメーション情報、そのために事前に用意した３Ｄ／２Ｄ画像素材を表示する。なお、出力提示装置１３としての映像デバイスが、演者用のディスプレイ１２１の機能を兼ねていてもよい。

電飾は、演者に対するフィードバックとして、触覚デバイスと同期して発光したり、演者の動きと連動して発光したりする高輝度ＬＥＤやディスプレイなどである。電飾は複数の発光体から構成されてもよい。

なお、出力提示装置１３自身が通信機能を有し、サーバ３から直接出力提示情報を受信できてもよいし、不図示の制御装置がサーバ３から出力提示情報を受信して出力提示装置１３を制御してもよい。

配信者端末１４は、通信部１４１と、記憶部１４２と、制御部１４３とを有する（図２参照）。

通信部１４１は、アンテナや通信ＩＣなどから構成され、図１に示すようにネットワーク接続された動作検出装置１１、再生装置１２およびサーバ３との間でデータの送受信を行う。記憶部１４２は、ＲＡＭ，ＲＯＭなどから構成され、各処理に必要なデータを記憶する。特に、記憶部１４２は、仮想ライブの配信を行う演者の情報（演者情報１４２１）と、仮想ライブに参加するユーザの情報（参加ユーザ情報１４２２）とを記憶する。

図３Ａは、配信者端末１４の記憶部１４２に記憶される演者情報１４２１のデータ構造を模式的に示す図である。図示のように、演者情報１４２１は、演者を特定する演者ＩＤが、その演者に対応するアバター情報（例えば、アバターのモデルデータおよび音声）に関連付けられたものである。

図３Ｂは、配信者端末１４の記憶部１４２に記憶される参加ユーザ情報１４２２のデータ構造を模式的に示す図である。図示のように、参加ユーザ情報１４２２は、参加するユーザを特定する参加ユーザＩＤが、仮想ライブ会場においてそのユーザに設定された仮想座席を特定する仮想座席ＩＤと、そのユーザに対応するアバター情報（例えば、アバターのモデルデータおよび音声）とに関連付けられたものである。

なお、仮想ライブ会場における仮想座席とは、仮想ライブ会場において、ユーザに対応するユーザアバターが表示される仮想的な座席である。仮想ライブ会場における１つの仮想座席には２以上のユーザが設定され得る。１つの仮想座席に設定されるユーザ数に上限があってもよい。１つの仮想座席に２以上のユーザが設定される場合については、第２の実施形態において後述する。

図２に戻り、配信者端末１４の制御部１４３は、演者情報取得部１４３１と、参加ユーザ情報取得部１４３２と、演者動作取得部１４３３と、ＶＲ空間生成部１４３４と、ＶＲ空間変更情報取得部１４３５と、ＶＲ空間変更部１４３６と、ＶＲ空間情報送信部１４３７とを有する。これら各部の一部または全部は、ハードウェアで実装されてもよいし、ソフトウェアで実現されてもよい。後者の場合、配信者端末１４のプロセッサ（不図示）が
記憶部１４２に記憶されたプログラムを実行することで、各部が実現されてもよい。

演者情報取得部１４３１は、演者からの操作に応じて、上述した演者ＩＤおよびアバター情報を取得し、演者情報１４２１として記憶部１４２に記憶する。また、演者情報取得部１４３１は現在どの演者がコンテンツ配信を行っているかを把握する。

参加ユーザ情報取得部１４３２は、上述した参加ユーザＩＤ、仮想座席ＩＤ、および、アバター情報をサーバ３から取得し、参加ユーザ情報１４２２として記憶部１４２に記憶する。

演者動作取得部１４３３は動作検出装置１１から演者の動作を示す動作情報を取得する。

ＶＲ空間生成部１４３４は、記憶部１４２に記憶された演者情報１４２１および参加ユーザ情報１４２２と、演者動作取得部１４３３が取得した動作情報とに基づいて、画像および音声から構成される仮想ライブ会場を生成する。具体的には、仮想ライブ会場は、現在コンテンツ配信を行っている演者に対応する演者アバターと、仮想ライブに参加するユーザの一部または全部に対応するユーザアバターとを含む。

そして、演者アバターは仮想ライブ会場における仮想舞台上で動作情報に応じて動作する。動作情報と、演者アバターの動作内容との関係は予め記憶部１４２にデータテーブルとして記憶されていてもよい。また、仮想ライブに参加する各ユーザに対応するユーザアバターが、当該ユーザに設定された仮想座席の位置に配置される。さらに、仮想ライブ会場は演者アバターの声や楽曲などの音声を含み得る。なお、記憶部１４２は、動作情報と動作内容を対応付けたデータテーブルを記憶する代わりに、機械学習がなされた学習済みモデルを記憶してもよい。この場合、動作情報が学習済みモデルに対する入力情報であり、動作内容が学習済みモデルからの出力情報である。

生成された仮想ライブ会場は、演者用の再生装置１２、ユーザ用のＨＭＤ２１およびユーザ端末２２によって出力される。

ＶＲ空間変更情報取得部１４３５は、仮想ライブに参加しているユーザの反応に応じて仮想ライブ会場を変更するためのＶＲ空間変更情報をサーバ３から取得する。仮想ライブ会場の変更とは、ユーザアバターの態様変更、演者アバターの態様変更、仮想ライブ会場に対する演出の実行などである。

ＶＲ空間変更部１４３６はＶＲ空間変更情報に基づいて仮想ライブ会場を変更する。具体例として、ＶＲ空間変更部１４３６は、ユーザの反応に応じたＶＲ空間変更情報に基づき、演者アバターやユーザアバターの表示態様を変更したり、仮想ライブ会場に花火を生じさせるなど所定の演出を実行したりする。

ＶＲ空間情報送信部１４３７は、ＶＲ空間生成部１４３４によって生成された仮想ライブ会場や、ＶＲ空間変更部１４３６によって変更された仮想ライブ会場を出力（画像表示および／または音声出力）するための情報（ＶＲ空間情報）をサーバ３に送信する。ＶＲ空間情報は、例えば動画像データおよび音声データから構成される。

以上述べた配信者用の動作検出装置１１、再生装置１２、出力提示装置１３および配信者端末１４は、コンテンツ作成用のスタジオに設置される。ただし、動作検出装置１１として、スマートフォンやタブレット端末のようなモバイル機器を適用し、スタジオとは異なる場所（例えば、自宅）から演者がコンテンツ配信を行ってもよい。

［ユーザ用の各装置の構成］
続いて、図１のユーザ端末２２について述べる。ユーザは、ユーザ端末２２に仮想ライブ会場を出力させて仮想ライブに参加してもよいし、ＨＭＤ２１を用いてこれに仮想ライブ会場を出力させて仮想ライブに参加させてもよい。まずは、前者について説明する。

ユーザ端末２２は、典型的にはスマートフォンやタブレット端末などのモバイル機器であるが、専用端末であってもよい。ユーザ端末２２は、通信部２２１と、記憶部２２２と、センサ２２３と、タッチパネル２２４と、スピーカ２２５と、制御部２２６とを有する（図２参照）。

通信部２２１は、アンテナや通信ＩＣなどから構成され、図１に示すようにネットワーク接続されたサーバ３との間でデータの送受信を行う。
記憶部２２２は、ＲＡＭ，ＲＯＭなどから構成され、各処理に必要なデータを記憶する。

センサ２２３はユーザ端末２２に内蔵され、あるいは外付けとされ、ユーザの動作を検出する。具体例として、センサ２２３は、ユーザを撮影するカメラ、ユーザの声（叫び声、声援、コールなど）や拍手を検出するマイクなどを含み得る。また、センサ２２３は、ユーザの動作を直接的に検出するものでなくてもよく、ユーザ端末２２の振動を検出する振動センサ、ユーザ端末２２の加速度を検出する加速度センサ、ユーザのヘルスケア情報（心拍や歩数など）を検出するヘルスケアセンサなどを含み得る。

これらのセンサ２２３で検出されるデータは、ユーザの動作の程度を示している。そして、仮想ライブが行われている間でのユーザの動作は、仮想ライブ会場における演出に対するユーザの反応に対応する。

タッチパネル２２４は入力インターフェースと出力インターフェースとを兼ねており、ユーザからタップ・スワイプ・長押しなどの操作を受け付けるとともに、制御部２２６からの制御に応じた画像を表示する。
スピーカ２２５は制御部２２６からの制御に応じた音声を出力する。

制御部２２６は、ライブ参加要求部２２６１と、反応データ生成部２２６２と、出力制御部２２６３とを有する。これら各部の一部または全部は、ハードウェアで実装されてもよいし、ソフトウェアで実現されてもよい。後者の場合、ユーザ端末２２のプロセッサ（不図示）が記憶部２２２に記憶されたプログラムを実行することで、各部が実現されてもよい。

ライブ参加要求部２２６１は、仮想ライブへの参加を希望するユーザからのタッチパネル２２４への操作に応じて、仮想ライブへの参加をサーバ３に要求する。さらに、ライブ参加要求部２２６１は仮想ライブ会場における特定の仮想座席の指定を要求してもよい。

反応データ生成部２２６２は、センサ２２３によって検知されたデータに基づき、仮想ライブ会場における演出に対するユーザの反応に関連する反応データをサーバ３に送信する。反応データはセンサ２２３からのデータそのものであってもよい。あるいは、反応データ生成部２２６２はセンサ２２３によって検知されたデータに対してノイズ除去などの加工を行って反応データとしてもよい。

また、反応データの送信頻度は、実質的にリアルタイムでもよいし、一定期間ごとでもよいし、ユーザあるいはサーバ３からの要求をトリガとしてもよいし、反応データに大き
な変化があった時点であってもよい。さらに、反応データの送信頻度は、仮想ライブで演奏される楽曲のリズムに応じた頻度でもよいし、主なる演者が実行する踊りなどの演出に応じた頻度であってもよいし、他のユーザの体験を記録したデータに基づいた頻度であってもよい。サーバ３からの要求は、仮想ライブ会場に流れる曲が開始するタイミングであってもよい。曲の開始に合わせてユーザが動作する可能性が高いためである。また、反応データの内容に応じた送信頻度であってもよいし、ユーザに応じた送信頻度（後述するアクティブ度が高いユーザは、高頻度とするなど）であってもよい。

上記の加工や送信頻度には種々考えられる。
例えば、反応データ生成部２２６２は、センサ２２３からのデータを意味や頻度といった圧縮済みデータに変換し、時間情報（time）、フロート（float）情報、テキスト情報
などＷｅｂＳｏｃｋｅｔで送信できる状態を反応データとしてもよい。また、反応データ生成部２２６２はセンサ２２３からのデータに基づいて特徴量を算出して反応データとしてもよい。

また、反応データ生成部２２６２は、センサ２２３からのデータが音声データの場合には、ノイズ除去処理の後、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）によって
周波数スペクトルに変換し、さらに動的閾値を用いて頻度および時刻情報に変換して反応データとしてもよい。この時刻情報が示す時刻は、リアルタイムライブが実行される場合には、通常、世界標準時にあたる時刻を使用する。しかし、時差などを考慮したタイムシフトでライブが再生される場合には、開始時刻がずれるように設定し、記録再生することも可能である。なお、上述した「Cepstrum」は「Cepstral」と同義である。

また、反応データ生成部２２６２は、センサ２２３からのデータが声援や笑い声などである場合、これらをリアルタイムにサーバ３に送信するのではなく、サーバ３からの要求と、それに対するユーザの許可によって送信するのが望ましい。

また、反応データ生成部２２６２は、センサ２２３からのデータが加速度センサからのＸＹＺ各方向の加速度である場合、高周波成分を抽出し、そのマグニチュードを動的閾値を用いて頻度および時刻情報に変換して反応データとしてもよい。この場合、例えば、１／３０秒あるいは１／６０秒に１度の頻度でサーバ３に送信してもよい。

また、反応データ生成部２２６２は、センサ２２３からのデータがカメラからの顔画像および深度画像である場合、５２点程度の特徴量（float）を１／７５秒ごとに抽出し、
有意な点（チャンネル）のみを選択して動的閾値を用いて頻度および時刻情報に変換して反応データとしてもよい。

なお、反応データをサーバ３に送信するか否かをユーザが選択できてもよい。また、特定のユーザのユーザ端末２２における反応データ生成部２２６２が反応データを送信するようにしてもよい。特定のユーザとは、例えばユーザ属性（性別、年齢、ユーザ端末２２が存在する地域、ユーザのお気に入り演者、過去の課金の多寡など）がある条件を満たすユーザや、サーバ３によってランダムに選択されたユーザである。

出力制御部２２６３は、タッチパネル２２４に所定の画面を表示させたり、スピーカ２２５から所定の音声を出力させたりする。例えば、出力制御部２２６３は、サーバ３からのＶＲ空間情報に基づいて、仮想ライブ会場の画像をタッチパネル２２４に表示させ、仮想ライブ会場の音声をスピーカ２５から出力させる。

図１に戻り、ユーザ用の出力提示装置２３は、サーバ３からの出力提示情報に基づいて、仮想ライブ会場における演出に対するユーザの反応に応じたフィードバックをユーザに
与える。フィードバック元のユーザとフィードバック先のユーザは一致することが想定されるが、他のユーザにフィードバックされてもよい。出力提示装置２３はユーザに作用するものであればよく、演者用の出力提示装置１３と同様なので詳細な説明は省略するが、触覚デバイス、音響デバイス、映像デバイス、電飾（発光デバイス）などである。

出力提示装置２３自身が通信機能を有し、サーバ３から直接出力提示情報を受信できてもよい。あるいは、出力提示装置２３とユーザ端末２２とを接続する構成とし、ユーザ端末２２がサーバ３から出力提示情報を受信し、この出力提示情報に基づいてユーザ端末２２が出力提示装置２３を制御してもよい。また、ユーザ端末２２が出力提示装置２３の機能を兼ねていてもよい。

なお、上述したように、仮想ライブに参加するユーザに対して、ユーザ端末２２ではなくＨＭＤ２１が仮想ライブ会場の画像を表示したり音声を出力したりしてもよい。この場合、ＨＭＤ２１が通信機能を有し、サーバ３から直接ＶＲ空間情報を受信し、仮想ライブ会場を出力させてもよい。あるいは、ＨＭＤ２１とユーザ端末２２とを接続する構成とし、ユーザ端末２２がサーバ３からＶＲ空間情報を受信し、このＶＲ空間情報に基づいてユーザ端末２２がＨＭＤ２１に仮想ライブ会場を出力させてもよい。また、ＨＭＤ２１が出力提示装置２３の機能（映像デバイスあるいは音響デバイス）を兼ねていてもよい。以下では、主にユーザ端末２２に仮想ライブ会場を出力するものとして説明するが、ＨＭＤ２１に仮想ライブ会場を出力する場合も同様に考えることができる。

［サーバ３の構成］
続いて、図１のサーバ３について述べる。サーバ３は、通信部３１と、記憶部３２と、制御部３３とを有する（図２）。

通信部３１は、アンテナや通信ＩＣなどから構成され、図１に示すようにネットワーク接続された配信者端末１４、ＨＭＤ２１、ユーザ端末２２および出力提示装置２３とデータの送受信を行う。なお、ネットワークは双方向通信できるものであればプロトコルに制限はないが、例えばＷｅｂＳｏｃｋｅｔを用いることができる。

記憶部３２は、ＲＡＭ，ＲＯＭ，ＨＤＤなどから構成され、各処理に必要なデータ（例えば、後述する参加ユーザ情報３２１や、種々のプログラム）を記憶する。特に、記憶部３２は参加ユーザ情報３２１を記憶する。また、記憶部３２には、ＧＣＰとして、判定、記録、課金、ＧｅｏＩＰ、過去のライブにおけるアチーブメント、現在接続しているネットワークの経路や速度が記憶されていてもよい。

図４は、サーバ３の記憶部３２に記憶される参加ユーザ情報３２１のデータ構造を模式的に示す図である。図示のように、参加ユーザ情報３２１は、参加ユーザＩＤが、そのユーザが用いるユーザ端末２２を特定するユーザ端末ＩＤと、そのユーザが用いる出力提示装置２３を特定する出力提示装置ＩＤとに関連付けられたものである。

図２に戻り、制御部３３は、ライブ参加受付部３３１と、反応データ取得部３３２と、ユーザ特定部３３３と、出力提示情報生成部３３４と、ＶＲ空間変更情報生成部３３５と、ＶＲ空間情報配信部３３６とを有する。これら各部の一部または全部は、ハードウェアで実装されてもよいし、ソフトウェアで実現されてもよい。後者の場合、サーバ３のプロセッサ（不図示）が記憶部３２に記憶されたプログラムを実行することで、各部が実現されてもよい。

ライブ参加受付部３３１はユーザ端末２２におけるライブ参加要求部２２６１からの要求に応じて仮想ライブへの参加を受け付ける。また、ライブ参加受付部３３１は参加を受
け付けた各ユーザの仮想ライブ会場における仮想座席を設定する。ライブ参加受付部３３１は、各ユーザからの希望に応じて仮想ライブ会場での仮想座席を設定してもよいし、任意に（例えばランダムに）設定してもよい。

仮想ライブへの参加は有料であってもよい。この場合、ライブ参加受付部３３１は公知の手法によって課金処理を行えばよい。仮想ライブへの参加費用は仮想座席に応じて異なっていてもよい。例えば、仮想ライブ会場における演者アバターとの距離が近い仮想座席ほど高く設定されてもよい。

そして、ライブ参加受付部３３１はライブ参加要求の受け付けに際して、参加ユーザＩＤ、ユーザ端末ＩＤ、出力提示装置ＩＤ、アバター情報を取得する。参加ユーザＩＤ、仮想座席ＩＤ、アバター情報は、配信者端末１４に送信され、参加ユーザ情報１４２２として配信者端末１４の記憶部１３２に記憶される。また、参加ユーザＩＤ、ユーザ端末ＩＤおよび出力提示装置ＩＤは、参加ユーザ情報３２１としてサーバ３の記憶部３２に記憶される。

反応データ取得部３３２はユーザ端末２２から反応データを取得する。なお、反応データ取得部３３２は、仮想ライブに参加している全ユーザのユーザ端末２２から反応データを取得してもよいし、一部のユーザの端末から反応データを取得してもよい。

ユーザ特定部３３３は反応データが特定の条件を満たすユーザを特定する。本実施形態におけるユーザ特定部３３３は、感情が所定条件を満たすユーザ、より具体的には、盛り上がっている（アクティブである）と判断されるユーザを反応データに基づいて特定する。例として、ユーザ特定部３３３は、反応データに基づき、反応データから把握されるユーザの声や動きの大きさなどからアクティブ度を取得し、アクティブ度が閾値を超えるユーザを特定する。アクティブ度は、反応データと所定の関係式とに基づいて取得されてもよいし、反応データと学習済みモデルとに基づいて取得されてもよい。ユーザが特定された場合、ユーザ特定部３３３はアクティブなユーザの数を取得してもよい。あるいは、ユーザ特定部３３３はアクティブ度が高い順に予め定められた数だけのユーザを特定してもよい。また、閾値を複数設け、ユーザ特定部３３３は、アクティブ度が高いユーザと、アクティブ度が中程度のユーザなど、複数段階に分けてユーザを特定してもよい。さらに、ユーザ特定部３３３は、特定されたユーザと、そのアクティブ度を関連づけておいてもよい。

出力提示情報生成部３３４は、ユーザ特定部３３３によって特定されたユーザの出力提示装置２３が当該ユーザに作用するよう、出力提示情報を生成する。そして、出力提示情報生成部３３４は、記憶部３２に記憶された参加ユーザ情報３２１を参照し、当該ユーザの出力提示装置２３に出力提示情報を送信する。このようにして、ユーザの反応に対するユーザへのフィードバックが実現される。特定されたユーザに特別なフィードバックが伝わるので、フィードバックを多様化できる。

また、出力提示情報生成部３３４は演者用の出力提示装置１３が演者に作用するよう出力提示情報を生成し、送信してもよい。演者用の出力提示情報はユーザ端末２２からの反応データ（あるいはアクティブ度）に基づくものであってよい。例えば、アクティブ度が高いほど、また、アクティブなユーザの数が多いほど、出力提示装置１３によって大きな作用が演者に与えられるような出力提示情報が生成されてもよい。このようにして、ユーザの反応に対する演者へのフィードバックが実現される。

ＶＲ空間変更情報生成部３３５は、反応データ取得部３３２が取得した反応データや、ユーザ特定部３３３によって特定されたユーザに基づいて、仮想ライブ会場を変更するた
めのＶＲ空間変更情報を生成し、配信者端末１４に送信する。このＶＲ空間変更情報に基づき、配信者端末１４のＶＲ空間変更部１４３６によって仮想ライブ会場が変更される。ユーザの反応と、生成されるＶＲ空間変更情報との関係は、予め記憶部３２に記憶されていてもよい。このようにして、ユーザの反応に対する仮想ライブ会場へのフィードバックが実現される。

ＶＲ空間情報配信部３３６は、配信者端末１４からのＶＲ空間情報を、演者用の再生装置１２、ＨＭＤ２１およびユーザ端末２２に配信する。具体的には、ＶＲ空間情報配信部３３６は、ＶＲ空間を出力するための動画像データおよび音声データを圧縮して、演者用の再生装置１２などに配信する。

［仮想ライブへの参加要求および仮想座席の設定］
図５は、仮想ライブへの参加要求・受付手順の一例を示すフローチャートである。

仮想ライブへの参加受付可能期間において、仮想ライブへの参加を希望するユーザからの操作に応じて、ユーザ端末２２のライブ参加要求部２２６１は仮想ライブへの参加要求をサーバ３に送信する（ステップＳ１）。参加受付可能期間は、仮想ライブ開始時刻より前の予め定めた期間であってもよいし、仮想ライブへの途中参加を可能とすべく仮想ライブ終了時刻より前までであってもよい。また、参加要求には、参加ユーザＩＤ、ユーザ端末ＩＤ、出力提示装置ＩＤおよびアバター情報を含むものとする。

参加要求に応じて、サーバ３のライブ参加受付部３３１はユーザからの参加を受け付ける（ステップＳ１１）。そして、ライブ参加受付部３３１はユーザが選択可能な仮想座席をユーザに提示するための情報をユーザ端末２２に送信する（ステップＳ１２）。

続いて、ユーザからの操作に応じて、ユーザ端末２２のライブ参加要求部２２６１は仮想座席を選択する（ステップＳ２）。具体例として、ライブ参加要求部２２６１は仮想座席を選択するための画面をタッチパネル２２４に表示させる。この画面から、仮想ライブ会場における演者アバター（仮想舞台）と各仮想座席との位置関係が把握できるのが望ましい。ユーザはタッチパネル２２４を介した操作によって仮想座席を選択する。そして、選択された仮想座席を特定する情報がライブ参加要求部２２６１によってサーバ３に送信される。

これにより、サーバ３の参加受付部はユーザの仮想座席を確定する（ステップＳ１３）。そして、ライブ参加受付部３３１は、参加ユーザＩＤ、ユーザ端末ＩＤおよび出力提示装置ＩＤを参加ユーザ情報３２１として記憶部３２に記憶するともに、参加ユーザＩＤ、仮想座席ＩＤおよびアバター情報を参加ユーザ情報１４２２として配信者端末１４に送信する（ステップＳ１４）。

［仮想ライブ会場の生成］
図６は、仮想ライブ会場を生成する手順の一例を示すフローチャートである。

仮想ライブの配信開始に先立って、配信者端末１４のＶＲ空間生成部１４３４は仮想ライブの配信を行う演者を特定する演者ＩＤを取得し、記憶部１４２に記憶された演者情報１４２１のなかから当該演者ＩＤと関連付けられたアバター情報を読み出す。また、ＶＲ空間生成部１４３４は記憶部１４２から参加ユーザ情報１４２２を読み出し、参加ユーザに対応するアバター情報を取得する（ステップＳ３１）。

仮想ライブが開始すると、演者用の動作検出装置１１は演者の動作を検出し、動作情報を配信者端末１４に送信する（ステップＳ２１）。これにより、配信者端末１４の演者動
作取得部１４３３は演者の動作情報を受信する（ステップＳ３２）。

そして、ＶＲ空間生成部１４３４は、ステップＳ３１で取得したアバター情報と、ステップＳ３２で受信した演者の動作情報とに基づき、仮想ライブ会場を生成する。生成された仮想ライブ会場を出力するためのＶＲ空間情報は、ＶＲ空間情報送信部１４３７によってサーバ３に送信される（ステップＳ３３）。このＶＲ空間情報を受信したサーバ３のＶＲ空間情報配信部３３６は、ＶＲ空間情報を演者用の再生装置１２、ＨＭＤ２１およびユーザ端末２２に配信する（ステップＳ４１）。これにより、演者用の再生装置１２などに仮想ライブ会場が出力される（ステップＳ４２）。

演者用の動作検出装置１１から演者の動作情報がほぼリアルタイムに配信者端末１４に送信され、配信者端末１４のＶＲ空間生成部１４３４はリアルタイムに仮想ライブ会場を生成する。これにより、演者の動作に応じて演者アバターがリアルタイムに動作する仮想ライブが提供される。

［表示される仮想ライブ会場］
ここで、ＶＲ空間生成部１４３４によって生成される仮想ライブ会場（ステップＳ３３）について詳しく述べる。生成される仮想ライブ会場は演者アバターおよび各参加ユーザに対応するユーザアバターの少なくとも一部を含む。具体例として、仮想ライブ会場の前方に配置された仮想舞台上において、動作情報に応じて動作する演者アバターが配置される。また、各仮想座席には、当該仮想座席に設定された参加ユーザに対応するユーザアバターが配置される。このような仮想ライブ会場の見え方は演者および各ユーザに共通していてもよいが、互いに異なるのが望ましい。以下、後者について説明する。

図７Ａは、演者用の再生装置１２のディスプレイ１２１に表示される仮想ライブ会場を模式的に示す図である。図示のように、演者用には演者アバターの視点で仮想ライブ会場が見えるようにするのがよい。すなわち、演者用の再生装置１２には、演者アバターは見えず、仮想座席に配置されたユーザアバターが表示される。

なお、１つの仮想座席に複数の参加ユーザが設定されている場合、ＶＲ空間生成部１４３４は、その仮想座席に対応する１つの仮想座席を仮想ライブ会場に設け、時間帯ごとに配置されるユーザアバターを切り替えてもよい。あるいは、ＶＲ空間生成部１４３４は、設定されている参加ユーザ数だけ仮想座席を仮想ライブ会場に設け、設定されている全参加ユーザに対応する全ユーザアバターを同時に配置してもよい。ただし、１つの仮想座席に設定される参加ユーザ数が多すぎると仮想ライブ会場上に仮想座席を配置するのが困難になるため、１つの仮想座席に設定され得る参加ユーザ数に上限を設けるのが望ましい。

なお、同一の３Ｄ空間上に配置するに最適な数には上限があるが、その数を大幅に上回る場合、仮想ライブ会場における舞台となる３Ｄ空間を複製し、後述する「仮想ライブ会場２」のような会場を、複製元となる後述の「仮想ライブ会場１」と並列した会場として生成し配置してもよい。またステージ上の主要な出演者や演出のみがそれぞれの仮想ライブ会場ｎに複製され（ｎは自然数）、個々個別の参加者はネットワーク速度や再生環境、混雑に適した快適な仮想ライブ会場に最適配置され視聴できる。

図７Ｂは、あるユーザ（例えば、図９Ａのユーザアバター９１に対応するユーザ）のユーザ端末２２のタッチパネル２２４（あるいはＨＭＤ２１、以下同じ）に表示される仮想ライブ会場を模式的に示す図である。図示のように、ユーザ用には当該ユーザに設定された仮想座席からの視点で仮想ライブ会場が見えるようにするのがよい。すなわち、ユーザ用のタッチパネル２２４には、自身に対応するユーザアバターは見えず、仮想舞台９０上の演者アバター９２と、少なくとも一部の他のユーザに対応するユーザアバター（符号を
付していないアバター）とが見える。ただし、ユーザ用のタッチパネル２２４には、自身に対応するユーザアバターが見えていてもよい。

このように、演者あるいは各ユーザに適した仮想ライブ会場の表示（出力）がなされるようなＶＲ空間情報がＶＲ空間情報送信部１４３７によってサーバ３に送信され、配信される。そして、仮想ライブ配信中に、以下に述べるユーザ端末２２からのフィードバック処理が行われる。

［フィードバック処理］
図８は、ユーザ端末２２からのフィードバック処理を行う手順の一例を示すフローチャートである。この処理は図７に示す仮想ライブ会場の表示と並行して重畳的に行われる。

ユーザ端末２２のセンサ２２３はユーザの動作を検出し、検出されたデータに基づいて反応データ生成部２２６２は反応データを取得する。この反応データはサーバ３に送信される（ステップＳ６１）。

仮想ライブ配信中においては、ユーザは仮想ライブ会場における演者の演出に反応して動作する蓋然性が高い。そのため、仮想ライブ配信中にセンサ２２３によって検出されるデータは、仮想ライブ会場における演出に関連していると言える。したがって、反応データ生成部２２６２は、仮想ライブ配信中にセンサ２２３によって検出されたデータから、仮想ライブ会場における演出に対する反応に関する反応データを生成できる。

続いて、サーバ３の反応データ取得部３３２は反応データを受信する（ステップＳ７１）。そして、ユーザ特定部３３３は、各ユーザ端末２２からの反応データに基づき、盛り上がっているアクティブなユーザを特定する（ステップＳ７２）。

そして、出力提示情報生成部３３４は、特定されたユーザ用の出力提示情報を生成し、当該ユーザの出力提示装置２３に出力提示情報を送信する（ステップＳ７３）。これにより、出力提示装置２３が作動して発光したり触覚をユーザに与えたりする（ステップＳ８０）。このようにして、ユーザの反応がユーザ自身にフィードバックされる。

なお、出力提示情報生成部３３４は特定されたユーザ以外のユーザの出力提示装置２３には出力提示情報を送信しなくてもよい。この場合、アクティブなユーザの出力提示装置２３のみが作動する。ただし、出力提示情報生成部３３４は、アクティブなユーザの数が所定値を超えたときなどには、アクティブでない（盛り上がっていない）ユーザの出力提示装置２３にも出力提示情報を送信して作動させてもよい。

以下、ユーザに対するフィードバックの例をいくつか示す。

アクティブ度に対する閾値を複数設けるなどによって複数段階に分けてユーザを特定するなどにより、ユーザ用の出力提示情報をアクティブ度（あるいは反応データ）に応じたものとしてもよい。例えば、よりアクティブ度が高いユーザほど、つまり、ライブの盛り上がりに大きく貢献しているユーザほど、出力提示装置２３によって大きな作用が与えられるような出力提示情報が生成されてもよい。具体例として、アクティブ度が高いユーザほど、出力提示装置２３としての触覚デバイスがより大きく振動してもよい。あるいは、アクティブ度が高いユーザほど、出力提示装置２３として電飾が明るく発光してもよい（例えば、より多くの発光体が増える、発光体における発光部分が大きくなるなど）。このように、フィードバックの程度をユーザのアクティブ度に応じたものとすることで、より多様なフィードバックを実現できる。

また、出力提示情報は特定されたユーザの仮想座席に応じたものであってよい。例えば、仮想ライブ会場における演者アバターとの距離が近い仮想座席が設定されたユーザほど、出力提示装置２３によって大きな作用がユーザに与えられるような出力提示情報が生成されてもよい。

別の例として、アクティブでないユーザを特定し、盛り上がりを促すべく、そのようなユーザの出力提示装置２３に出力提示情報を送信してもよい。このときの出力提示情報は、例えば、「一緒に盛り上がろう」といった盛り上がりを促すテキスト情報であってもよい。

図８に戻り、出力提示情報生成部３３４は、演者用の出力提示情報を生成し、演者の出力提示装置１３に出力提示情報を送信する（ステップＳ７４）。これにより、出力提示装置１３は触覚や発光などの作用を演者に与える（ステップＳ８１）。このようにして、ユーザの反応が演者にフィードバックされる。

以下、演者に対するフィードバックの例をいくつか示す。

演者用の出力提示情報はユーザ端末２２からの反応データ（あるいはアクティブ度）に基づくものであってよい。例えば、アクティブ度が高いほど、および／または、アクティブなユーザの数が多いほど、出力提示装置１３によって大きな作用が演者に与えられるような出力提示情報が生成されてもよい。

また、出力提示情報はユーザ特定部３３３によって特定されたユーザ（に設定された仮想座席の位置）に基づくものであってもよい。例えば、いずれのユーザがアクティブであるかを演者が認識できるような出力提示情報が生成される。すなわち、演者へのフィードバックとして、アクティブなユーザの位置を示す作用がなされてもよい。

具体的には、演者用の出力提示情報がアクティブなユーザの位置を示す情報を含む。これに応じて、演者用の出力提示装置１３は、演者の体の一部分であって、アクティブなユーザの位置に対応する一部分に触覚的な作用を与えてもよいし、アクティブなユーザに対応する位置が発光してもよい。これにより、演者はどのユーザがアクティブであるかを把握できる。

より具体的な例として、演者からみて右手側の仮想座席に設定されたユーザのアクティブ度が高い場合、出力提示装置１３によって演者の右半身に触覚が与えられるような出力提示情報、あるいは、スタジオの右側に設置された電飾が発光するような出力提示情報が生成されてもよい。

図８に戻り、ＶＲ空間変更情報生成部３３５はユーザの反応に応じて仮想ライブ会場を変更するためのＶＲ空間変更情報を生成し、これを配信者端末１４に送信する（ステップＳ７５）。ＶＲ空間配信情報に応じて、配信者端末１４のＶＲ空間変更部１４３６は仮想ライブ会場を変更し、変更後の仮想ライブ会場を示すＶＲ空間情報をサーバ３に送信する（ステップＳ８２）。サーバ３のＶＲ空間情報配信部３３６は、ＶＲ空間情報を演者用の再生装置１２、ユーザ端末２２およびＨＭＤ２１（図８には不図示）に配信する（ステップＳ７６）。これにより、変更された仮想ライブ会場が演者用の再生装置１２、ユーザ端末２２およびＨＭＤ２１によって出力される（ステップＳ６２，Ｓ８３）。なお、図８で示されるステップの実行順序は、適宜変更可能である。例えば、テップＳ７３、Ｓ７４、Ｓ７５の実行される順番は、任意であり、例えばステップＳ７５、Ｓ７４、Ｓ７３の順に実行されてもよい。

以下、仮想ライブ会場変更の例をいくつか示す。

図９Ａおよび図９Ｂは、仮想ライブ会場におけるユーザアバターの表示態様を変更する例を模式的に示す図である。図９Ａは図７Ａに対応しており、演者用の再生装置１２におけるディスプレイ１２１に表示される仮想ライブ会場である。図９Ｂは図７Ｂに対応しており、ユーザ端末２２のタッチパネル２２４（またはＨＭＤ２１）に表示される仮想ライブ会場である。

図９Ａおよび図９Ｂは、アクティブなユーザを特定する情報を含むＶＲ空間変更情報が配信者端末１４に送信され、配信者端末１４のＶＲ空間変更部１４３６がアクティブなユーザに対応するユーザアバター９３の色を変更する例である。このような表示態様の変更により、アクティブなユーザを他のユーザや演者が認識できる。

表示態様の変更としては、色を変えるほか、特定の動作（ジャンプし始める、踊り始める、表情が変わるなど）をさせてもよいし、ユーザアバター９３に対する付加的な表示（汗をかくなど）を行ってもよいし、表示位置を変えたり（仮想舞台に登るなど）、ユーザアバター９３が光り始めたりしてもよい。さらに、表示態様に加えて／代えて、アクティブなユーザに対応するユーザアバター９３が声援を発するなど音声態様が変更されてもよい。

図１０Ａおよび図１０Ｂは、仮想ライブ会場におけるユーザアバター９４および演者アバター９２が相互作用するよう表示態様を変更する例を模式的に示す図である。図１０Ａは図７Ａに対応しており、演者用の再生装置１２におけるディスプレイ１２１に表示される仮想ライブ会場である。図１０Ｂは図７Ｂに対応しており、ユーザ端末２２のタッチパネル２２４（またはＨＭＤ２１）に表示される仮想ライブ会場である。

図１０Ａおよび図１０Ｂは、アクティブなユーザを特定する情報を含むＶＲ空間変更情報が配信者端末１４に送信され、配信者端末１４のＶＲ空間変更部１４３６がアクティブなユーザに対応するユーザアバター９４および演者アバター９２が互いに見つめ合うよう表示態様を変更する例である。具体的には、ユーザアバター９４は演者アバター９２からの視線を受けるよう表示態様が変更される。また、演者アバター９２はアクティブなユーザに対応するユーザアバター９４に視線を送るよう表示態様が変更される。

相互作用の例としては、視線を送り合うほか、手を振る、握手する、ハグするといった表示上の相互作用や、声をかけるといった音声上の相互作用があり得る。

演者アバターとユーザアバター９４がハグを行う場合、そのことを示す出力提示情報が出力提示装置２３によって生成されてもよい。ユーザは、出力提示装置２３として上述したジャケット型の触覚デバイスを着用していれば、あたかも演者アバターと抱き合ったかのようなリアルな感覚を体感できる。

また、演者アバターがユーザアバター９４に声をかける場合、そのことを示す出力提示情報が出力提示情報生成部３３４によって生成されてもよい。ユーザは、出力提示装置２３として音響デバイスを含んでいれば、あたかも演者アバターから声をかけられたかのようなリアルな感覚を体感できる。

このように、ＶＲ空間変更情報と、出力提示情報とが対応あるいは関連していてもよい。これにより、仮想ライブ会場におけるフィードバックと同等のフィードバックを実空間においてもユーザが受けることが可能となる。特に、フィードバックが相互作用である場合に有効である。

また、相互作用でなく、アクティブなユーザに対応するユーザアバター９４に対して、演者アバター９２が一方的に視線を送るなどの作用を与えるような表示態様の変更であってもよい。この場合、演者アバター９２のみ表示態様が変更されてもよい。あるいは、演者アバター９２に対して、アクティブなユーザに対応するユーザアバター９４が一方的に視線を送るなどの作用を与えるような表示態様の変更であってもよい。この場合、ユーザアバター９４のみ表示態様が変更されてもよい。

図１１Ａおよび図１１Ｂは、仮想ライブ会場に演出がなされるよう仮想ライブ会場の表示態様を変更する例を模式的に示す図である。図１１Ａは図７Ａに対応しており、演者用の再生装置１２におけるディスプレイ１２１に表示される仮想ライブ会場である。図１１Ｂは図７Ｂに対応しており、ユーザ端末２２のタッチパネル２２４（またはＨＭＤ２１）に表示される仮想ライブ会場である。

図１１Ａおよび図１１Ｂは、アクティブなユーザの数が所定値に達したことを示すＶＲ空間変更情報が配信者端末１４に送信され、仮想ライブ会場に花火９５が打ち上がる演出が行われる例である。演出の例としては、花火９５の他、ギフトを表示させるといった画像上の効果の他、音声上の効果も考えられる。

このような仮想ライブ会場の変更は、仮想ライブに参加しているユーザから課金が行われた場合、演者が有効な演出を行ったと判定された場合、仮想ライブ会場に流れる曲の開始タイミングに所定の反応データが得られた場合などに、ＶＲ空間変更部１４３６は事前に準備した音声効果を仮想ライブ会場に生じさせてもよい。

また、アクティブなユーザの数が多いほど仮想ライブ会場の視界が曇るなど、アクティブなユーザの数に応じた演出が行われてもよい。あるいは、仮想ライブ会場にアクティブなユーザの数に対応する指標（バーグラフや折れ線グラフなど）が表示されてもよい。

このように、第１の実施形態では、ユーザの反応がセンサ２２３によって取得され、演者、演者アバター、ユーザ、および／またはユーザアバターにフィードバックされる。

［変形例］
ユーザ用の出力提示装置２３は、演者用の出力提示装置１３と同様の構成でなくてもよい。例えば、ユーザ用の出力提示装置２３は、電飾（発光デバイス）、発煙装置、および／または着火装置などであり、ユーザが赴いた特定の会場に設置された装置であってもよい。例えば、ＨＭＤを着用することなく特定の会場に赴いた複数のユーザは、ＨＭＤを着用した場合に比べて、仮想ライブ会場の演出を実感しづらい。しかしながら、このような複数のユーザが、出力提示装置２３の出力（作動）を認識すれば、仮想ライブの演出に伴い盛り上がり易くなる。特にこのような出力提示装置２３が大掛かりであるほど、盛り上がり易くなる。なお、ユーザの感情が所定条件を満たすことを契機とすることに加えて／代えて、仮想ライブで音楽が始まったことを契機として、または、演者アバターが踊り始めたことを契機として、このような出力提示装置２３はユーザにフィードバックを与えてもよい。そのためには、例えば、ＶＲ空間生成部１４３４と出力提示情報生成部３３４とが協働し、フィードバックを与えるタイミングを示す情報が出力提示情報に含まれるようにすればよい。

また、図１および図２の構成は例示にすぎない。配信者端末１４、サーバ３およびユーザ端末２２の任意の１以上を情報処理装置と考えることができる。例えば、配信者端末１４およびサーバ３が一体であってもよいし、配信者端末１４の機能の一部がサーバ３またはユーザ端末２２によって実行されてもよいし、サーバ３の機能の一部が配信者端末１４
またはユーザ端末２２によって実行されてもよい。

例えば、図１および図２は、配信者端末１４が仮想ライブ会場を生成し（レンダリングを行う）、サーバ３（ストリーミングサーバ）がコンテンツ配信を行うものであったが、サーバ３あるいはユーザ端末２２がレンダリングを行ってもよい。

図１２は、サーバ３がレンダリングを行うコンテンツ配信システムにおける配信者端末１４、サーバ３およびユーザ端末２２の内部構成を模式的に示す図である。なお、図１２において、図２と同じ名称が付された各部は図２を用いて説明した動作と同等の動作を行うものとする。このコンテンツ配信システムでは、配信者端末１４でなくサーバ３が仮想ライブ会場を生成してＶＲ空間情報を配信する。

具体的には、配信者端末１４における演者動作取得部１４３３は、動作検出装置１１からの動作情報を取得し、これをサーバ３に送信する。一方、サーバ３の演者情報取得部１４３１および参加ユーザ情報取得部１４３２は、予め演者情報１４２１および参加ユーザ情報３２１，１４２１を取得し、これらを記憶部３２に記憶している。また、サーバ３内に仮想ライブ会場を生成・配信するための各機能部が設けられている。これにより、サーバ３が動作情報に基づいて仮想ライブ会場を生成し、配信できる。

図１３は、図１２のコンテンツ配信システムにおいて、仮想ライブ会場を生成する手順の一例を示すフローチャートであり、図６と対応している。

仮想ライブの配信開始に先立って、サーバ３のＶＲ空間生成部１４３４は仮想ライブの配信を行う演者を特定する演者ＩＤを取得し、記憶部３２に記憶された演者情報１４２１のなかから当該演者ＩＤと関連付けられたアバター情報を読み出す。また、ＶＲ空間生成部１４３４は記憶部３２から参加ユーザ情報１４２２を読み出し、参加ユーザに対応するアバター情報を取得する（ステップＳ３１’）。

仮想ライブが開始すると、演者用の動作検出装置１１は演者の動作を検出し、動作情報を配信者端末１４に送信する（ステップＳ２１）。配信者端末１４の演者動作取得部１４３３は、動作検出装置１１からの動作情報を取得し、これをサーバ３に送信する（ステップＳ３２’）。これにより、サーバ３の演者動作取得部１４３３は演者の動作情報を受信する（ステップＳ３２’’）。

そして、サーバ３のＶＲ空間生成部１４３４は、ステップＳ３１’で取得したアバター情報と、ステップＳ３２’’で受信した演者の動作情報に基づき、仮想ライブ会場を生成する（ステップＳ３３’）。生成された仮想ライブ会場を出力するためのＶＲ空間情報が、ＶＲ空間情報配信部３３６によって演者用の再生装置１２、ＨＭＤ２１およびユーザ端末２２に配信される（ステップＳ４１）。これにより、演者用の再生装置１２などに仮想ライブ会場が出力される（ステップＳ４２）。

図１４は、図１２のコンテンツ配信システムにおいて、ユーザ端末２２からのフィードバック処理を行う手順の一例を示すフローチャートであり、図８と対応している。図８との違いは、図８のステップＳ８２が省略され、サーバ３自身がＶＲ空間を変更して配信する点（ステップＳ７６’）である。

図１５は、ユーザ端末２２がレンダリングを行うコンテンツ配信システムにおける配信者端末１４、サーバ３およびユーザ端末２２の内部構成を模式的に示す図である。なお、図１５において、図２と同じ名称が付された各部は図２を用いて説明した動作と同等の動作を行うものとする。このコンテンツ配信システムでは、演者の動作を示す動作情報がサ
ーバ３（モーションサーバ）からユーザ端末２２に送信され、ユーザ端末２２が仮想ライブ会場を生成して出力する。

具体的には、配信者端末１４における演者動作取得部１４３３は、動作検出装置１１からの動作情報を取得し、これをサーバ３に送信する。サーバ３の演者動作取得部１４３３は動作情報を各ユーザ端末２２に送信する。一方、ユーザ端末２２の演者情報取得部１４３１および参加ユーザ情報取得部１４３２は、予め演者情報１４２１および参加ユーザ情報１４２２をサーバ３から受信し、これらを記憶部２２２に記憶している。また、ユーザ端末２２の記憶部２２２には、演者の動作情報に応じて演者アバターを動作させたり、仮想ライブ会場を変更したりするためのプログラムが記憶されており、このプログラムの実行によってＶＲ空間生成部１４３４およびＶＲ空間変更部１４３６など、仮想ライブ会場を生成するための各機能部が実現される。

また、演者用の再生装置１２に仮想ライブ会場を出力すべく、ユーザ端末２２と同様、配信者端末１４は演者情報１４２１および参加ユーザ情報１４２２を記憶しており、仮想ライブ会場を生成するための各機能部が設けられる。

図１６は、図１５のコンテンツ配信システムにおいて、仮想ライブ会場を生成する手順の一例を示すフローチャートであり、図６と対応している。

仮想ライブの配信開始に先立って、配信者端末１４およびユーザ端末２２のＶＲ空間生成部１４３４は仮想ライブの配信を行う演者を特定する演者ＩＤをサーバ３から取得し、記憶部１４２，２２２にそれぞれ予め記憶された演者情報１４２１のなかから当該演者ＩＤと関連付けられたアバター情報を読み出す。また、ＶＲ空間生成部１４３４は記憶部１４２，２２２から参加ユーザ情報１４２２を読み出し、参加ユーザに対応するアバター情報を取得する（ステップＳ３１，Ｓ３１’）。

仮想ライブが開始すると、演者用の動作検出装置１１は演者の動作を検出し、動作情報を配信者端末１４に送信する（ステップＳ２１）。配信者端末１４の演者動作取得部１４３３は、動作検出装置１１からの動作情報を取得し、これをサーバ３に送信する（ステップＳ３２’）。これにより、サーバ３の演者動作取得部１４３３は演者の動作情報を受信し、これをユーザ端末２２に送信する（ステップＳ３２１）。これにより、ユーザ端末２２の演者動作取得部１４３３は動作情報を受信する（ステップＳ３２２）。

そして、ユーザ端末２２のサーバ３のＶＲ空間生成部１４３４は、ステップＳ３１’で取得したアバター情報と、ステップＳ３２２で受信した演者の動作情報に基づき、仮想ライブ会場を生成する（ステップＳ３３’）。これにより、ユーザ端末２２に仮想ライブ会場が出力される（ステップＳ４２）。

また、配信者端末１４のサーバ３のＶＲ空間生成部１４３４は、ステップＳ３１で取得したアバター情報と、ステップＳ３２’で受信した演者の動作情報に基づき、仮想ライブ会場を生成する（ステップＳ９１’）。これにより、演者用の再生装置１２に仮想ライブ会場が出力される（ステップＳ９２）。

図１５の構成によれば、演者の動作を配信者端末１４が取得し、サーバ３を経由して各ユーザ端末２２に送信される。動画そのものが送信されるわけではないので、サーバ３の通信量を減らすことができる。通信量の低減効果は、ユーザ端末２２の台数が多いほど高まる。

図１７は、図１５のコンテンツ配信システムにおいて、ユーザ端末２２からのフィード
バック処理を行う手順の一例を示すフローチャートであり、図８と対応している。図８との違いは、サーバ３によって生成され送信されたＶＲ空間変更情報（ステップＳ７５）に基づき、ユーザ端末２２におけるＶＲ空間変更部１４３６および配信者用端末１４におけるＶＲ空間変更部１４３６がＶＲ空間を変更する点（ステップＳ６２，Ｓ８２’）点である。

また、ユーザ特定部３３３は反応データに基づいてユーザを特定すればよく、盛り上がっているユーザに限られない。例えば、ユーザ特定部３３３は、悲しみや怒りなど他の感情が所定の条件を満たすユーザを特定してもよい。例えば、ＶＲ空間で追悼式が行われる場合、悲しみが深いユーザを特定し、そのユーザに出力されるフィードバックを抑えるようにしてもよい。別の例として、ＶＲ空間上で演者アバターを呼びかけ人とする政治デモが行われる場合、反応データとして心拍数あるいは体温の変化に基づいたデータに基づき、ユーザ特定部３３３は怒っているユーザを特定し、そのユーザに対応するユーザアバター（呼びかけ人に同調しているユーザアバター）を赤くするなどのフィードバックを行ってもよい。

（第２の実施形態）
上述した第１の実施形態は、各ユーザが自身のＨＭＤ２１あるいはユーザ端末２２にＶＲ空間である仮想ライブ会場を出力するものであった。この場合、ユーザ毎に表示される仮想ライブ会場は異なる。これに対し、次に説明する第２の実施形態は、所定の会場にスクリーンを設け、このスクリーンに１つの仮想ライブ会場を出力するものである。以下、第１の実施形態との違いを中心に説明する。

図１８は、第２の実施形態に係るコンテンツ配信システムの概略構成を示すブロック図である。配信者端末１４、サーバ３およびユーザ端末２２の内部構成は、図２に示すものと概ね同様である。図１との違いとして、コンテンツ配信システムは、実際の映画館などの会場に設置された１以上の（スピーカ付き）スクリーン４１，４２を備えている。これらのスクリーン４１，４２をディスプレイとして仮想ライブが出力される。以下、２つのスクリーン４１，４２があるとして説明する。

スクリーン４１が設置された会場１（以下「実ライブ会場１」とも呼ぶ）において、スクリーン４１から出力される仮想ライブ会場を鑑賞することによって、複数のユーザが仮想ライブに参加できる。以下、このようなユーザを「実ライブ会場１のユーザ」とも呼ぶ。スクリーン４２が設置された会場２（以下「実ライブ会場２」とも呼ぶ）についても同様である。さらに、いずれの会場１，２にも行かず、自宅などで自身のＨＭＤ２１やユーザ端末２２に仮想ライブ会場を出力させることにより、仮想ライブに参加することもできる。以下、このようなユーザを「仮想ライブ会場のユーザ」とも呼ぶ。

このように、スクリーン４１，４２のそれぞれに出力される仮想ライブ会場が複数のユーザによって鑑賞されることを前提とする場合、仮想ライブ会場における各仮想座席にユーザを設定する手法は種々考えられる。以下、仮想ライブ会場における仮想座席と、各仮想座席に設定される参加ユーザとの関係を示す参加ユーザ情報１４２２の例をいくつか示す。

図１９Ａは、参加ユーザ情報１４２２のデータ構造の一例を模式的に示す図である。図示のように、本参加ユーザ情報１４２２は、参加するユーザを特定する参加ユーザＩＤが、実ライブ会場１，２のそれぞれにおいてそのユーザに設定された実際の座席（実座席）を特定する実座席ＩＤと、仮想ライブ会場においてそのユーザに設定された仮想座席を特定する仮想座席ＩＤと、そのユーザに対応するアバター情報とに関連付けられたものである。

参加する会場とは、ユーザが、実ライブ会場１において参加するのか、実ライブ会場２において参加するのか、仮想ライブ会場において参加するのか、である。また、実座席ＩＤは実ライブ会場１，２に参加するユーザの参加ユーザＩＤにのみ関連付けられる。当然ではあるが、１つの実ライブ会場における実座席には、１人のユーザのみが設定される。実ライブ会場における実座席の位置と、仮想ライブ会場における仮想座席の位置とは対応関係にあってもよいし、無関係でもよい。

図１９Ａは、仮想ライブ会場における１つの仮想座席に任意の２以上のユーザが設定されることを許容する例である。図１９Ａの例では、仮想座席Ａ０１には、実ライブ会場１におけるユーザＵ１１，Ｕ１２と、実ライブ会場２におけるユーザＵ１４と、仮想ライブ会場におけるユーザＵ１６とが設定される。また、仮想座席Ａ０２には、実ライブ会場１におけるユーザＵ１３と、実ライブ会場２におけるユーザＵ１５と、仮想ライブ会場におけるユーザＵ１７とが設定されている。以上のような仮想座席設定がなされるように、サーバ３のライブ参加受付部３３１は動作する。

仮想ライブ用の仮想ライブ会場の生成手順や、フィードバック処理の手順は、第１の実施形態（図６および図８）と同様であってよい。ただし、実ライブ会場１，２において仮想ライブに参加するユーザに対しては、ＶＲ空間情報を配信しなくてもよい。その代わりに、実ライブ会場１，２にそれぞれ設置されたスクリーン４１，４２にＶＲ空間情報が配信され、出力される。仮想ライブ会場の見え方は各スクリーン４１，４２に共通していてもよいが、互いに異なるのが望ましい。
まずは、実ライブ会場１に設置されたスクリーン４１に表示される仮想ライブ会場について説明する。

図２０Ａおよび図２０Ｂは、スクリーン４１に表示される仮想ライブ会場を模式的に示す図である。スクリーン４１には、演者アバター９２と、実ライブ会場１において仮想ライブに参加する少なくとも一部のユーザに対応するユーザアバターが表示される。各ユーザアバターは、対応するユーザの仮想座席に応じた位置に表示される。仮想ライブ会場における１つの仮想座席に複数のユーザが設定されている場合、実ライブ会場１において参加しているユーザに対応するユーザアバターが優先的に表示される。

図１９Ａの例では、仮想座席Ａ０２にはユーザＵ１３，Ｕ１５，Ｕ１７が設定されているが、図２０Ａおよび図２０Ｂに示すように、スクリーン４１には、実ライブ会場１において仮想ライブに参加しているユーザＵ１３に対応するユーザアバターＸ２３が仮想座席Ａ０２の位置に表示される。

一方、仮想座席Ａ０１には、実ライブ会場１において仮想ライブに参加している複数のユーザ（２人のユーザＵ１１，Ｕ１２）が設定されている。この場合、図２０Ａに示すように、その仮想座席Ａ０１に対応する１つの仮想座席Ａ０１を仮想ライブ会場に設け、時間帯ごとに配置されるユーザアバターが切り替わってもよい（図２０ＡではユーザＵ１２に対応するユーザアバターＸ２２が表示されている）。あるいは、図２０Ｂに示すように、設定されている参加ユーザ数だけの仮想座席Ａ０１－１，Ａ０１－２を仮想ライブ会場に設け、設定されている全参加ユーザに対応するユーザアバターＸ２１，Ｘ２２を同時に配置してもよい。ただし、１つの仮想座席に設定される参加ユーザ数が多すぎると仮想ライブ会場上の配置が困難であるため、１つの仮想座席に設定される参加ユーザ数に上限を設けるのが望ましい。

実ライブ会場２に設置されたスクリーン４２に表示される仮想ライブ会場についても同様である。すなわち、図２０Ｃに示すように、図１９Ａの例では、仮想座席Ａ０１にはユ
ーザＵ１４に対応するユーザアバターＸ２４が表示され、仮想座席Ａ０２にはユーザＵ１５に対応するユーザアバターＸ２５が表示される。

なお、演者用の再生装置１２、および、仮想ライブ会場において仮想ライブに参加している各ユーザのＨＭＤ２１あるいはユーザ端末２２に出力される仮想ライブ会場は、第１の実施形態と同様である。

上述した例において、実ライブ会場１において仮想座席Ａ０２が設定されたユーザＵ１３に対応するユーザアバターの表示態様が変更される場合、実ライブ会場２において同じく仮想座席Ａ０２が設定されたユーザＵ１５や、仮想ライブ会場において同じく仮想座席Ａ０２が設定されたユーザＵ１７に対応するユーザアバターの表示態様が変更されてもよいし、されなくてもよい。

すなわち、ある（実または仮想）ライブ会場におけるユーザアバターへのフィードバックは、他の（実または仮想）ライブ会場におけるユーザアバターへのフィードバックに反映されてもよいし、されなくてもよい。

また、ユーザ特定部３３３によって、実ライブ会場１におけるユーザＵ１３はアクティブでないが、実ライブ会場２におけるユーザＵ１５がアクティブであるとして特定された場合、スクリーン４２における演者アバターのみの表示態様が変更（例えば、演者アバターが手を振る）されてもよいし、スクリーン４１，４２の両方における演者アバターの表示態様が変更されてもよい。

すなわち、ある（実または仮想）ライブ会場におけるユーザの反応が、他の（実または仮想）ライブ会場における演者アバターへのフィードバックに反映されてもよいし、されなくてもよい。また、仮想空間内に配置・出現したギフト等の３Ｄオブジェクトや演出は、通常は物理エンジンによって衝突や重力が実時間処理され、その後、かかる３Ｄオブジェクトに関するイベントの演出を開始するか否かが判定処理される。これらの処理は、スクリプトによって分岐処理可能であるが、一般的な処理であるため詳細な説明については割愛する。

図１９Ｂは、参加ユーザ情報１４２２のデータ構造の別の例を模式的に示す図である。図１９Ｂは、仮想ライブ会場における１つの仮想座席に、２以上のユーザが設定されることを許容するが、１つの実ライブ会場につき１人のみのユーザが設定される例である。ただし、仮想ライブに参加する複数のユーザが１つの仮想座席に設定されてよい。図１９Ｂの例では、仮想座席Ａ０１には、実ライブ会場１におけるユーザＵ１１と、実ライブ会場２におけるユーザＵ１４と、仮想ライブ会場におけるユーザＵ１６，Ｕ１７とが設定される。なお、仮想座席Ａ０３には、実ライブ会場１においてはユーザＵ１３が設定されているが、実ライブ会場２および仮想ライブ会場においては、いずれのユーザも設定されていない。

このような設定であれば、スクリーン４１には、演者アバターと、実ライブ会場１において仮想ライブに参加する全ユーザに対応するユーザアバターを表示できる。例えば、図１９Ｂにおける仮想座席Ａ０１に関し、実ライブ会場１におけるユーザＵ１１に対応するユーザアバターはスクリーン４１に表示されるが、実ライブ会場２におけるユーザＵ１４に対応するユーザアバターはスクリーン４１に表示されない。

同様に、スクリーン４２には、演者アバターと、実ライブ会場２において仮想ライブに参加する全ユーザに対応するユーザアバターを表示できる。例えば、図１６Ｂにおける仮想座席Ａ０１に関し、実ライブ会場２におけるユーザＵ１４に対応するユーザアバターは
スクリーン４２に表示されるが、実ライブ会場１におけるユーザＵ１１に対応するユーザアバターはスクリーン４２に表示されない。

なお、実ライブ会場２において、仮想座席Ａ０３にはいずれのユーザも設定されていない。この場合、スクリーン４２には仮想座席Ａ０３を空席としてもよいし、実ライブ会場１において仮想座席Ａ０３が設定されたユーザＡ１３に対応するユーザアバターを表示してもよい。後者によれば、空席を少なく見せることができる。

なお、図１９Ｂで示される参加ユーザ情報１４２２の「会場」の欄に、互いに異なる「仮想ライブ会場１」と「仮想ライブ会場２」がデータとして格納されてもよい。「仮想ライブ会場２」とは、３Ｄ空間上において、「仮想ライブ会場１」と空間的に互いに連通する空間（仮想ライブ会場１とは別の部屋のような形態）でもよいし、仮想ライブ会場１と同一の複製された３Ｄ空間であってもよい。「仮想ライブ会場１」と「仮想ライブ会場２」は、同時に利用し得る並列的な世界でもよい。

図１９Ｃは、参加ユーザ情報１４２２のデータ構造のまた別の例を模式的に示す図である。図示のように、図１９Ａおよび図１９Ｂと比較して、参加ユーザ情報は、参加ユーザＩＤに対して、仮想座席を独占するか否かを示す情報も関連付けられる。すなわち、図１９Ｃは、仮想ライブ会場における１つの仮想座席を１ユーザが独占するか、複数のユーザが設定されるかを、当該仮想座席を最初に選択したユーザが指定できる例である。

図１９Ｃの例では、仮想座席Ａ０１は独占されていないため、実ライブ会場１ではユーザＵ１１が設定され、実ライブ会場２ではユーザＵ１３が設定され、仮想ライブ会場ではユーザＵ１５，Ｕ１６が設定される。一方、仮想座席Ａ０２は実ライブ会場１において仮想ライブに参加するユーザＵ１２によって独占されているため、実ライブ会場２においても、仮想ライブ会場においても、他ユーザの設定はできない。

この場合、ユーザＵ１２が参加する実ライブ会場１に設置されたスクリーン４１のみならず、他の実ライブ会場２に設置されたスクリーン４２、および、仮想ライブ会場において仮想ライブに参加するユーザのＨＭＤ２１あるいはユーザ端末２２にも、ユーザＵ１２に対応するユーザアバターが仮想座席Ａ０２に配置された仮想ライブ会場が出力される。

この場合、ユーザＵ１２の反応（正確には、ユーザＵ１２のユーザ端末２２からサーバ３に送信される反応データに応じて、ユーザＵ１２に対応するユーザアバターがフィードバックを受ける際、当該フィードバックの様子は他のスクリーン４２などにも出力される。特に、演者アバターとユーザアバターとがハグなどの相互作用を行うようなフィードバック（表示態様の変更）である場合、何らの矛盾も生じない。したがって、１つの仮想座席が１人のユーザに独占的に設定されたことを条件として、ＶＲ空間変更部１４３６は演者アバターとユーザアバターとが相互作用を行うようにしてもよい。

このように、第２の実施形態では、１つのスクリーン４１，４２を複数のユーザが鑑賞する場合でも、ユーザの反応をセンサ２２３で取得し、演者、演者アバター、ユーザ、および／またはユーザアバターにフィードバックできる。

また、サーバ３あるいはユーザ端末２２がレンダリングを行うようにするなど、第１の実施形態と同様の変形例を第２の実施形態に適用可能である。

なお、ユーザＵ１２に対応するユーザアバターは、３Ｄ空間上の他の動的オブジェクトとの衝突イベントに応じてフィードバックを受けてもよいし、所定の制御スクリプトに応じてフィードバックを受けてもよい。

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

１１ 動作検出装置
１２ 再生装置
１２１ ディスプレイ
１２２ スピーカ
１３ 出力提示装置
１４ 配信者端末
１４１ 通信部
１４２ 記憶部
１４２１ 演者情報
１４２２ 参加ユーザ情報
１４３ 制御部
１４３１ 演者情報取得部
１４３２ 参加ユーザ情報取得部
１４３３ 演者動作取得部
１４３４ ＶＲ空間生成部
１４３５ ＶＲ空間変更情報取得部
１４３６ ＶＲ空間変更部
１４３７ ＶＲ空間情報送信部
２１ ＨＭＤ
２２ ユーザ端末
２２１ 通信部
２２２ 記憶部
２２３ センサ
２２４ タッチパネル
２２５ スピーカ
２２６ 制御部
２２６１ ライブ参加要求部
２２６２ 反応データ生成部
２２６３ 出力制御部
２３ 出力提示装置
３ サーバ
３１ 通信部
３２ 記憶部
３２１ 参加ユーザ情報
３３ 制御部
３３１ ライブ参加受付部
３３２ 反応データ取得部
３３３ ユーザ特定部
３３４ 出力提示情報生成部
３３５ ＶＲ空間変更情報生成部
３３６ ＶＲ空間情報配信部
４１，４２ スクリーン
９０ 仮想舞台
９１，９３，９４ ユーザアバター
９２ 演者アバター

Claims (16)

1. 情報処理装置を、
   演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、
   前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、
   前記反応データに基づいて、前記演者の第１出力提示装置が当該演者に作用するよう、前記第１出力提示装置に第１出力提示データを送信する第３手段と、として機能させ、
   前記第１出力提示装置は、触覚デバイス、音響デバイスおよび電飾のうち少なくとも１つを含む情報処理プログラム。
2. 前記第１出力提示装置は、
   （１）電気刺激、吸引力、剪断力および締め圧の少なくとも１つを与えるアクチュエータを搭載した触覚デバイス、
   （２）ペンダント型、腕輪型、ブレスレット型、ネックレス型およびジャケット型のいずれかの触覚デバイス、
   （３）スピーカからストリーミング音声を出力する、あるいは、事前に準備した音声効果を出力する音響デバイス、
   （４）演者に対するフィードバックとして、演者の動きと連動して発光する電飾、または、
   （５）触覚デバイス、および、演者に対するフィードバックとして、触覚デバイスと同期して発光する電飾である、請求項１に記載の情報処理プログラム。
3. 情報処理装置を、
   演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、
   前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、
   前記反応データに基づいて特定されるアクティブなユーザの位置に対応する演者の体の一部分に触覚的な作用が与えられるよう前記演者の第１出力提示装置に第１出力提示データを送信する第３手段と、として機能させる情報処理プログラム。
4. 情報処理装置を、
   演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、
   前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、
   前記反応データに基づいて、前記演者の第１出力提示装置が当該演者に作用するよう、前記第１出力提示装置に第１出力提示データを送信する第３手段と、
   前記反応データに基づいて、少なくとも一部のユーザの第２出力提示装置が当該少なくとも一部のユーザに作用するよう、前記第２出力提示装置に第２出力提示データを送信する第４手段と、として機能させる情報処理プログラム。
5. 前記第４手段は、前記反応データに基づいて特定されるユーザの前記第２出力提示装置に前記第２出力提示データを送信する、請求項４に記載の情報処理プログラム。
6. 前記第３手段は、前記反応データに基づくアクティブ度が高いほど、大きな作用が演者に与えられるよう前記第１出力提示データを生成する、請求項１乃至５のいずれかに記載の情報処理プログラム。
7. 前記第３手段は、前記反応データに基づいて特定されるアクティブなユーザが多いほど、大きな作用が演者に与えられるよう前記第１出力提示データを生成する、請求項１乃至５のいずれかに記載の情報処理プログラム。
8. 第１手段が、演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置し、
   第２手段が、前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得し、
   第３手段が、前記反応データに基づいて、前記演者の出力提示装置が当該演者に作用するよう、前記出力提示装置に出力提示データを送信し、
   前記出力提示装置は、触覚デバイス、音響デバイスおよび電飾のうち少なくとも１つを含む情報処理方法。
9. 演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、
   前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、
   前記反応データに基づいて、前記演者の出力提示装置が当該演者に作用するよう、前記出力提示装置に出力提示データを送信する第３手段と、を備え、
   前記出力提示装置は、触覚デバイス、音響デバイスおよび電飾のうち少なくとも１つを含む情報処理装置。
10. 演者用の出力提示装置と、
    演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、
    前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、
    前記反応データに基づいて、前記演者用の出力提示装置が当該演者に作用するよう、前記出力提示装置に出力提示データを送信する第３手段と、を備え、
    前記出力提示装置は、触覚デバイス、音響デバイスおよび電飾のうち少なくとも１つを含む情報処理システム。
11. 第１手段が、演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置し、
    第２手段が、前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得し、
    第３手段が、前記反応データに基づいて特定されるアクティブなユーザの位置に対応する演者の体の一部分に触覚的な作用が与えられるよう前記演者の出力提示装置に出力提示データを送信する、情報処理方法。
12. 演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、
    前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、
    前記反応データに基づいて特定されるアクティブなユーザの位置に対応する演者の体の一部分に触覚的な作用が与えられるよう前記演者の出力提示装置に出力提示データを送信する第３手段と、を備える情報処理装置。
13. 演者用の出力提示装置と、
    演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、
    前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、
    前記反応データに基づいて特定されるアクティブなユーザの位置に対応する演者の体の一部分に触覚的な作用が与えられるよう前記出力提示装置に出力提示データを送信する第３手段と、を備える情報処理システム。
14. 第１手段が、演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置し、
    第２手段が、前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得し、
    第３手段が、前記反応データに基づいて、前記演者の第１出力提示装置が当該演者に作用するよう、前記第１出力提示装置に第１出力提示データを送信し、
    第４手段が、前記反応データに基づいて、少なくとも一部のユーザの第２出力提示装置が当該少なくとも一部のユーザに作用するよう、前記第２出力提示装置に第２出力提示データを送信する、情報処理方法。
15. 演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、
    前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、
    前記反応データに基づいて、前記演者の第１出力提示装置が当該演者に作用するよう、前記第１出力提示装置に第１出力提示データを送信する第３手段と、
    前記反応データに基づいて、少なくとも一部のユーザの第２出力提示装置が当該少なくとも一部のユーザに作用するよう、前記第２出力提示装置に第２出力提示データを送信する第４手段と、を備える情報処理装置。
16. 演者用の第１出力提示装置と、
    演者の動作に対応して動作する演者アバターと、複数のユーザのそれぞれに対応する複数のユーザアバターと、を仮想空間に配置する第１手段と、
    前記複数のユーザのうちの少なくとも一部のユーザの、前記仮想空間における演出に対する反応に関連する反応データを取得する第２手段と、
    前記反応データに基づいて、前記演者用の出力提示装置が当該演者に作用するよう、前記第１出力提示装置に第１出力提示データを送信する第３手段と、
    前記反応データに基づいて、少なくとも一部のユーザの第２出力提示装置が当該少なくとも一部のユーザに作用するよう、前記第２出力提示装置に第２出力提示データを送信する第４手段と、を備える情報処理システム。