JP6965896B2 - 表示制御システム、及び、表示制御方法 - Google Patents

Description

本発明は、ライブ配信を行う表示制御システム、及び、表示制御方法に関する。

特許文献１等には、コンテンツを配信するサーバが記載されている。

特許第５５３０５５７号公報

本発明の一態様によれば、被写体が存在する実空間の映像を表示装置に表示させる表示装置制御部と、前記実空間の三次元位置情報を取得する取得部と、ユーザ動作を検出する検出部と、前記取得部が取得した三次元位置情報と、前記検出部が検出したユーザ動作のユーザ動作情報とに基づいて、アイテムの映像を前記被写体が認識できるように前記実空間上に表示するアイテム表示制御部とを備えた表示制御システムが提供される。

本発明の他の態様によれば、被写体が存在する実空間の映像を表示装置に表示させ、前記実空間の三次元位置情報を取得し、ユーザ動作を検出し、前記取得した三次元位置情報と、前記検出したユーザ動作のユーザ動作情報とに基づいて、アイテムの映像を前記被写体が認識できるように前記実空間上に表示する表示制御方法が提供される。

ライブ配信システムの全体構成を示す図。 サーバとユーザ端末のブロック図。 （ａ）はライブ配信処理のフローチャート、（ｂ）はライブ配信時におけるユーザ端末の表示画面を示す図。 ユーザによるアイテム／演者選択処理のフローチャート。 （ａ）はアイテムを選択する際のユーザ端末の表示画面を示す図、（ｂ）は演者を選択する際のユーザ端末の表示画面を示す図、（ｃ）はアイテムと演者が選択された際のユーザ端末の表示画面を示す図、（ｄ）はアイテムと演者が選択された際のスタジオモニタの表示画面を示す図、（ｅ）はユーザがアイテムを投げる動作をした際のユーザ端末及びスタジオモニタの表示画面を示す図。 演者が当該アイテムを取得する取得処理を示すフローチャート。 （ａ）は演者が猫耳のヘッドバンドのアイテムを拾った際のユーザ端末及びスタジオモニタの表示画面を示す図、（ｂ）は演者がヘッドバンドのアイテムを装着した際のユーザ端末及びスタジオモニタの表示画面を示す図、（ｃ）は演者が横を向いた際のユーザ端末及びスタジオモニタの表示画面を示す図。 演者からユーザへの返礼処理のフローチャート。 （ａ）は演者が返礼のサインボールを手に持った際のユーザ端末及びスタジオモニタの表示画面を示す図、（ｂ）は演者がサインボールを投げた際のユーザ端末及びスタジオモニタの表示画面を示す図、（ｃ）はユーザがサインボールを受け取った際のユーザ端末及びスタジオモニタの表示画面を示す図。 （ａ）は演者に対してエフェクトが付加された際のユーザ端末及びスタジオモニタの表示画面を示す図、（ｂ）はユーザがアイテムを投げる動作をした際のユーザ端末及びスタジオモニタの表示画面を示す図、（ｃ）は演者がアイテムを受け取った際のユーザ端末及びスタジオモニタの表示画面を示す図、（ｄ）は背景画像にタワーが表示された際のユーザ端末及びスタジオモニタの表示画面を示す図。

以下、図１〜図１０を用いて、本発明が適用されたライブ配信システムを図面を参照して説明する。
〔ライブ配信システムの概要〕
図１に示すように、ライブ配信システム１は、生演奏等のパフォーマンスが実演されるスタジオ１０と、スタジオ１０で取得されたコンテンツデータをライブ配信するサーバ２０と、サーバ２０で配信されたコンテンツデータを視聴するユーザ端末４０，６０，７０とを備えている。サーバ２０とユーザ端末４０，６０，７０とは、ネットワーク２を介して接続されている。なお、ユーザ端末の数は、ここで示す２台に限定されるものではなく、１台であっても、数十台でも数百台であってもよい。

スタジオ１０内の実空間では、一例として、被写体としての３人の演者Ａ，Ｂ，Ｃがステージで楽曲を演奏し、歌唱している。勿論、演者の人数は３人に限定されるものではなく、１人や２人でもよいし、４人以上であってもよい。また、演者Ａ，Ｂ，Ｃは、１つのバンド等のグループであってもよいし、それぞれが独立して活動する演者Ａ，Ｂ，Ｃの集まりであってもよい。スタジオ１０には、再生装置１１と、スピーカ１２と、マイク１３と、ＲＧＢカメラ１４と、デプスカメラ１５と、プロジェクタ１６と、スタジオモニタ１７とを備えている。

再生装置１１は、演奏する楽曲データを再生し、楽曲データに基づく楽曲を、再生装置１１と接続されたスピーカ１２から放音する。マイク１３は、各演者Ａ，Ｂ，Ｃが所持しており、演者Ａ，Ｂ，Ｃの音声を集音する。一例として、ＲＧＢカメラ１４は、ライブ配信システム１において、第１カメラである。ＲＧＢカメラ１４は、動画撮影機能を有するデジタルカメラである。一例として、ＲＧＢカメラ１４は、ビデオカメラである。一例として、ＲＧＢカメラ１４は、表示データ生成用カメラ等である。ＲＧＢカメラ１４は、演者Ａ，Ｂ，Ｃが演奏している実空間を撮像するビデオカメラである。ＲＧＢカメラ１４は、一例として、ＣＣＤやＣＭＯＳ等の撮像素子を備え、可視光等の光を検出し、３色（赤、緑、青）のカラー信号で構成された表示データを出力する。一例として、ＲＧＢカメラ１４は、演者Ａ，Ｂ，Ｃ等の被写体を撮像し、表示データとして、ユーザ端末４０，６０，７０等の表示部に撮像した被写体を表示できる観賞用データを出力する。また、一例として、ＲＧＢカメラ１４は、表示データとして、スタジオモニタ１７に表示されるように撮像データを出力する。更に、一例として、ＲＧＢカメラ１４は、表示データとして、ユーザＡ，Ｂ，Ｃが居る公共場所やライブ会場やコンサートホールに設置された大型スクリーンを備えた大型表示装置に表示される映像データを出力する。なお、ＲＧＢカメラ１４は、ビデオカメラである必要はなく、例えば動画撮像機能を備えたスマートデバイス端末であってもよい。この場合、スマートデバイス端末を三脚等に固定することによって、ビデオカメラと同様に機能させることができる。

一例として、デプスカメラ１５は、ライブ配信システム１において、第２カメラである。一例として、デプスカメラ１５は、赤外線カメラである。一例として、デプスカメラ１５は、三次元位置情報取得用カメラである。デプスカメラ１５は、自身から被写体までの距離である深度情報等を取得する。デプスカメラ１５は、一例として、被写体となる演者Ａ，Ｂ，Ｃ等との距離である深度情報等を取得する取得部である。一例として、デプスカメラ１５は、被写体の一部である演者Ａまでの距離（深度情報）、被写体の一部である演者Ｂまでの距離（深度情報）及び被写体の一部である演者Ｃまでの距離（深度情報）をそれぞれ取得する。一例として、デプスカメラ１５は、被写体の一部であるスタジオの各点までの距離である深度情報等を取得する。一例として、デプスカメラ１５は、被写体として演者Ａ、Ｂ及びＣとスタジオとを含む実空間の三次元位置情報を取得する。デプスカメラ１５は、赤外線を投光する投光部と、赤外線を検出する赤外線検出部とを備えている。デプスカメラ１５は、一例として、投光部から投光した赤外線パルスが反射して戻ってくるまでの時間から実空間における深度情報等の三次元位置情報を取得する。なお、ＲＧＢカメラ１４とデプスカメラ１５とは、一体の装置であってもよいし、別体の装置であってもよい。

プロジェクタ１６は、一例としてステージに演者Ａ，Ｂ，Ｃへのプレゼントであるアイテムのオブジェクトをプロジェクションマッピング等の手法で表示する。スタジオモニタ１７は、実空間であるスタジオ１０に配置され、映像が表示される表示装置であり、一例として、主に演者Ａ，Ｂ，Ｃが視認可能なようにステージの前に設置される表示装置である。スタジオモニタ１７は、一例としてフラットディスプレイであり、ＬＣＤ表示装置、有機ＥＬ表示装置である。そして、スタジオモニタ１７は、ＲＧＢカメラ１４で撮像された演者Ａ，Ｂ，Ｃのパフォーマンスの映像が表示される。

サーバ２０は、演者Ａ，Ｂ，Ｃによって演奏されたコンテンツデータとしてのライブデータを生成する。一例として、サーバ２０は、再生装置１１からの楽曲データ、マイク１３からの音声データ、ＲＧＢカメラ１４からの映像データ等の各種のデータに基づいて、ユーザ端末４０，６０，７０に対して配信するための演者Ａ，Ｂ，Ｃによるパフォーマンスのライブデータを生成し、ライブデータをユーザ端末４０，６０，７０に対してライブ配信する。すなわち、サーバ２０は、ユーザ端末４０，６０，７０に対して、演者Ａ，Ｂ，Ｃによるパフォーマンスを生中継する。

なお、演者Ａ，Ｂ，Ｃによるパフォーマンスは、伴奏を再生装置１１により再生するのではなく、実際に演者Ａ，Ｂ，Ｃがギターやドラム等の楽器を演奏し、その音をマイクで集音するものであってもよい。スタジオ１０でライブデータをデータ生成装置等で生成し、サーバ２０に送信するようにしてもよい。

ライブ配信システム１に参加するユーザＡ，Ｂ，Ｃは、一例として、演者Ａ，Ｂ，Ｃのファンであり、ユーザ端末４０，６０，７０を用いてライブデータを視聴することができる。ユーザ端末４０は、一例として、デスクトップ型又はラップトップ型のパーソナルコンピュータ４０ａと、パーソナルコンピュータ４０ａと接続されたウェアラブル端末やスマートデバイス端末としてのスマートウォッチ５０とを備えている。パーソナルコンピュータ４０ａがデスクトップ型である場合、ユーザ端末４０は、デスクトップ型のパーソナルコンピュータ４０ａと、パーソナルコンピュータ４０ａと接続されたモニタと、パーソナルコンピュータ４０ａと接続されたスマートウォッチ５０とを備えている。また、パーソナルコンピュータ４０ａがラップトップ型である場合、ユーザ端末４０は、表示部を備えたラップトップ型のパーソナルコンピュータ４０ａと、ラップトップ型のパーソナルコンピュータ４０ａと接続されたスマートウォッチ５０とを備えている。一例として、ユーザ端末４０のユーザＡは、スマートウォッチ５０を利き腕等に装着しており、スマートウォッチ５０は、パーソナルコンピュータ４０ａと有線又は無線で接続されている。スマートウォッチ５０は、加速度センサやジャイロセンサ等の検出部を備えており、一例としてユーザＡが物を投げる動作をしたとき、ユーザ動作情報として、その加速度や角度（姿勢）や角速度を検出する。

なお、パーソナルコンピュータ４０ａは、ヘッドマウントディスプレイ（ＨＭＤ）が有線又は無線で接続されていてもよい。また、ＨＭＤは、パーソナルコンピュータ４０ａとしての構成を備えていてもよい。ＨＭＤとしては、光学シースルー型ヘッドマウントディスプレイ、ビデオシースルー型ヘッドマウントディスプレイ、非透過型ヘッドマウントディスプレイ等が挙げられる。光学シースルー型ヘッドマウントディスプレイの場合はＡＲ（拡張現実）による表示を行うことができる。ビデオシースルー型ヘッドマウントディスプレイや非透過型ヘッドマウントディスプレイの場合はＶＲ（仮想現実）による表示を行うことができる。ＨＭＤには、後述するプレゼントや返礼ためのアイテムのオブジェクトを表示することができる。

また、ユーザ端末６０は、一例として、スマートフォンやタブレット等のスマートデバイス端末であり、携帯可能な小型の情報処理端末である。スマートフォンは、一例として、表示面にタッチパネルを備えている。また、ユーザ端末６０は、加速度センサやジャイロセンサ等の検出部を備えており、一例として、ユーザＢが物を投げる動作をしたとき、ユーザ動作情報として、その加速度や角度や角速度を検出する。ユーザ端末６０は、携帯可能な小型の情報処理端末であることから、ユーザ端末６０のユーザは、どこでもライブデータを視聴することができる。

ユーザＣのユーザ端末７０は、スマートデバイス端末６０ａとスマートウォッチ５０とを備えている。この場合、スマートデバイス端末６０ａがユーザＡのラップトップ型のパーソナルコンピュータ４０ａのような機能を担う。これにより、ユーザＣがスマートウォッチ５０を装着した利き腕で物を投げる動作をしているときにも、もう一方の手に持ったスマートデバイス端末６０ａの表示部に表示された映像を視認することができる。また、スマートデバイス端末６０ａを机等に置いたり三脚に固定した状態で、物を投げる動作を行うことができる。これにより、スマートデバイス端末６０ａの表示部に表示された映像を見ながらスマートウォッチ５０を装着した利き腕で投げ動作等をすることができる。

ユーザ端末４０，６０，７０では、ライブデータを視聴しながら、そのとき実際にパフォーマンスしている演者Ａ，Ｂ，Ｃに対して、アイテムを仮想的にプレゼントすることができる。一例として、ユーザ端末４０，６０，７０の表示面には、ライブデータとともに、演者Ａ，Ｂ，Ｃに対してプレゼントすることが可能なアイテムの第１オブジェクトとしてのオブジェクトが一覧表示されたアイテム選択オブジェクトが表示される。アイテムとしては、花束、ヘッドバンド等の装飾具、ユーザ端末４０，６０，７０で視聴する際演者の動作を演出するエフェクト、演者が実演する場所の背景画像等を挙げることができる。そして、ユーザＡ，Ｂ，Ｃは、アイテム選択オブジェクト内のオブジェクト一覧の中から何れか１つのアイテムを選択し、さらに、プレゼントする演者を演者Ａ，Ｂ，Ｃの中から選択する。図１では、演者として演者Ａが選択され、また、アイテムとして猫耳のヘッドバンドが選択されている例を示している。

この後、ユーザ端末４０のユーザＡは、スマートウォッチ５０を装着した状態で腕を振って物を投げる動作をする。ユーザ端末６０のユーザＢは、ユーザ端末６０を持った状態で腕を振って物を投げる動作をする。ユーザ端末７０のユーザＣは、スマートウォッチ５０を装着した状態で腕を振って物を投げる動作をする。すると、ユーザ端末４０，６０，７０は、サーバ２０に対して検出結果であるユーザ動作情報としての加速度データ、角度（姿勢）データ、角速度データ等の操作データをサーバ２０に送信する。なお、ユーザ端末６０，７０では、ライブデータが表示されている表示面を指やスタイラスペンを用いて、表示されている演者Ａ，Ｂ，Ｃの方向へなぞる操作を行い、その座標データ等の操作データをサーバ２０に送信するようにしてもよい。

すると、サーバ２０は、ユーザ端末４０，６０，７０から送信されたアイテムＩＤが示すアイテム１８の映像をプロジェクタ１６を使ってスタジオ１０の床面に映像表示する。映像表示されるアイテム１８は、一例として、ユーザ端末４０，６０，７０から送信された演者ＩＤが示す演者の前に表示される。図１では、演者Ａの前にヘッドバンドのアイテム１８が映像表示されている例を示している。一例として、プロジェクタ１６は、表示されるアイテム１８を、アイテムがユーザＡ，Ｂ，Ｃの側、すなわち演者Ａ，Ｂ，Ｃの前方位置から演者Ａ，Ｂ，Ｃの方向に投げられたように映像を表示する。実空間において、アイテムが落下する床面の位置、すなわち最終的にアイテム１８が表示されるアイテム位置は、スタジオ１０内で特定される特定位置であって、ユーザ端末４０，６０，７０から送信されたユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データに基づいて決まる。アイテム位置は、深度情報等の三次元位置情報で特定される。アイテム位置は、一例として、デプスカメラ１５の検出部を原点とする三次元座標系等で特定することができる。

一例として、ユーザＡ，Ｂ，Ｃがアイテムを弱く投げるような動作をした場合、アイテム１８が表示されるアイテム位置は、演者Ａ，Ｂ，Ｃの前方で遠く離れた位置となる。ユーザＡ，Ｂ，Ｃがアイテムを強く投げるような動作をした場合、アイテム１８が表示されるアイテム位置は、演者Ａ，Ｂ，Ｃの前方で比較的近い位置となる。更に、アイテムがユーザＡ，Ｂ，Ｃによって強く投げられ過ぎた場合、アイテム１８が表示されるアイテム位置は、アイテムが演者Ａ，Ｂ，Ｃの後方にある壁で跳ね返った後、演者Ａ，Ｂ，Ｃに対して前方や後方の位置となる。これにより、演者Ａ，Ｂ，Ｃは、実際にはスタジオ１０にはいないユーザＡ，Ｂ，Ｃから自分たちの方向にアイテムが投げられたように視認することができる。演者Ａ，Ｂ，Ｃに対してアイテムが投げられた様子は、ユーザ端末４０，６０，７０の表示面にも映像とともに、アイテムオブジェクトがＲＧＢカメラ１４が撮像した映像の中におけるアイテムオブジェクト位置に表示される。これにより、ユーザＡ，Ｂ，Ｃも、自分の投げたアイテムが演者Ａ，Ｂ，Ｃの近くに届いたことを視認することができる。更に、一例として、ユーザＡ，Ｂ，Ｃが特定の演者Ａに対して右側又は左側にアイテムを投げる動作をした場合、実空間において、アイテム１８が表示されるアイテム位置は、ユーザＡ，Ｂ，Ｃがアイテムを投げた方向に対応して、演者Ａに対して右側又は左側の位置となる。一例として、演者Ａに対して右側にアイテムを投げてしまった場合、アイテム１８が表示されるアイテム位置は、演者Ｂや演者Ｃの正面となってもよい。このようなアイテム位置は、ユーザ端末４０，６０，７０で検出された検出結果としての加速度データ、角度データ、角速度データ等の操作データに基づいて決まる三次元位置情報で特定される。

なお、スタジオモニタ１７にもユーザ端末４０，６０，７０の表示面と同様な映像表示を行ってもよい。
スタジオ１０のデプスカメラ１５は、一例として、常時、スタジオ１０における各所の深度情報等の三次元位置情報を算出している。デプスカメラ１５は、一例として、演者Ａ，Ｂ，Ｃの人物領域を抽出し、人物領域と非人物領域とに区分する。デプスカメラ１５は、一例として、演者Ａ，Ｂ，Ｃの各々の２５カ所の骨格位置を骨格データとして取得し、さらに、各骨格位置の深度情報を算出している。骨格位置としては、一例として左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等の骨格位置が含まれている。なお、取得する骨格位置の数は、２５カ所に限定されるものではない。また、デプスカメラ１５は、スタジオ１０における壁や床面との距離を算出している。ここで、深度情報は、一例としてデプスカメラ１５の前方の対物レンズ又はセンサ面から測定対象位置（スタジオ１０の壁の各所や床の各所）との距離である。また、深度情報は、一例としてデプスカメラ１５の前方の対物レンズ又はセンサ面から被写体となる演者の骨格位置までの距離である。

アイテム１８が表示されているアイテム位置に対して演者Ａの右手又は左手、一例として演者Ａの右手又は左手の深度情報に基づく位置がアイテム位置に重なったときは、演者Ａがアイテムを拾ったときである。そこで、プロジェクタ１６は、アイテム位置に演者Ａの右手又は左手が重なったとき、アイテム１８を非表示とする。ここでのアイテムは、ヘッドバンドである。そこで、演者Ａが拾ったヘッドバンドを頭部に装着するように振る舞う。この間、サーバ２０は、ユーザ端末４０，６０，７０の表示面に対して、演者Ａの右手又は左手に把持されたように拾ったヘッドバンドのオブジェクトを映像表示し、ヘッドバンドのオブジェクトが演者Ａの頭部に装着される様子を表示する。これにより、ユーザＡ，Ｂ，Ｃは、ユーザ端末４０，６０の表示面で、自分がプレゼントしたヘッドバンドが演者Ａに認識され、演者Ａがそのヘッドバンドが装着する様子を視認することができる。

これ以降、ユーザＡ，Ｂは、ユーザ端末４０，６０，７０の表示面で、演者Ａがヘッドバンドを装着した状態で演奏している様子を視認することができる。一例として、演者Ａが横向いたとき、ヘッドバンドのオブジェクトの向きも演者Ａの向きに合わせて表示される。各演者Ａ，Ｂ，Ｃの向きは、ＲＧＢカメラ１４からの表示データから演者Ａ，Ｂ，Ｃの顔検出をし、デプスカメラ１５から演者Ａ，Ｂ，Ｃの骨格位置を算出することで判定する。また、アイテムのオブジェクトを表示するデータも三次元データである。一例として、これらのデータに基づいて、演者Ａが横向きになったことを検出した場合には、演者Ａの向きに合わせてヘッドバンドのオブジェクトの向きも変化される。演者Ａがヘッドバンドを装着した状態は、スタジオモニタ１７にも表示され、演者Ａ，Ｂ，Ｃに、ユーザ端末４０，６０，７０に表示されている状態を視認させることができる。

一例として、サーバ２０は、ユーザから演者Ａ，Ｂ，Ｃにアイテムがプレゼントされた時点（演者Ａ，Ｂ，Ｃがアイテムを受け取った時点）で、演者Ａ，Ｂ，Ｃにプレゼントされた（演者Ａ，Ｂ，Ｃが受け取った）すべてのアイテムと、それに対応するユーザＩＤを特定することができる。これを利用して、サーバ２０は、演者Ａ，Ｂ，Ｃがアイテムを拾った時点で、アイテムをプレゼントしてくれたユーザＩＤを特定することができる。

間奏に入ったときには、一例として、スタジオ１０のスタジオモニタ１７の表示面にヘッドバンドのアイテムを演者Ａに対してプレゼントしたユーザＩＤのオブジェクトの映像を表示する。また、一例として、ユーザＩＤのオブジェクトの映像をプロジェクタ１６でスタジオ１０の床面に表示する。これにより、演者Ａは、ヘッドバンドをプレゼントしてくれたユーザＡ，Ｂ，Ｃを把握することができる。

一例として、演者ＡがユーザＩＤを発声しマイク１３で集音されると、サーバ２０は、マイク１３からの音声データから音声認識処理により、返礼をするユーザのユーザＩＤを特定してそのユーザに返礼できるようにする。この音声認識処理は、マイク１３以外の他の装置（サーバ２０、スタジオ１０に設置された装置等）で行うこともできる。また、一例として、返礼処理として、演者Ａ，Ｂ，Ｃが装着しているアイテム（例えばヘッドバンド）を演者が触りながら返礼するアイテムを投げる動作をすると、演者Ａ，Ｂ，Ｃが触っているアイテムをプレゼントしたユーザＩＤを特定してそのユーザに返礼できるようにする。更に、一例として、サーバ２０は、ライブ配信視聴者全員をユーザＩＤで特定しており、アイテムを一定額以上購入してくれたユーザに対して演者Ａ，Ｂ，Ｃが返礼処理を行うことができるようにする。更に、一例として、ユーザ端末がユーザの視線を検出する視線検出部を備えており、ユーザが特定の演者を注視した時間を算出することができる場合がある。このような場合において、演者Ａが返礼処理をしたとき、演者Ａを一定時間以上見続けていたユーザＩＤのユーザに対して返礼することができる。また、演者Ａを一定時間以上見続けていないユーザＩＤのユーザに対してはランダムに抽出したユーザＩＤのユーザに対して返礼する。

以上のように、返礼をする場合、演者ＡがユーザＡ，Ｂ，Ｃに対して返礼のプレゼントとなる第２オブジェクトとしてのアイテムオブジェクトの映像をスタジオモニタ１７及びユーザ端末４０，６０，７０の表示面に表示する。具体的に、返礼品のアイテムが演者Ａのサインボールであるとき、スタジオモニタ１７及びユーザ端末４０，６０，７０の表示面において、演者Ａの右手又は左手にサインボールが把持されたようにサインボールのアイテムオブジェクトの映像を演者Ａの右手又は左手の位置に表示する。これにより、演者Ａは、現在、自分はサインボールを持った現状を把握することができ、また、ユーザＡ，Ｂ，Ｃも、演者Ａが自分への返礼となるサインボールを投げてくれる現状を把握することができる。

演者Ａがサインボールを投げる動作を行ったとき、デプスカメラ１５は、演者Ａのサインボールを持った手の深度情報等の変化に基づいて演者Ａがサインボールを投げたことを検出する。すると、ユーザ端末４０，６０，７０の表示面には、演者ＡがユーザＡ，Ｂ，Ｃの方へサインボールを投げたようにアイテムオブジェクトが表示される。ユーザ端末４０，６０，７０において、表示面に表示されたサインボールをキャッチする操作がされたとき、ユーザＡ，Ｂ，Ｃがサインボールを受け取ったことになる。なお、返礼のプレゼントとしては、サインボールに限定されるものではない。ユーザＡ，Ｂ，Ｃは、受け取ったサインボール等の返礼品を、再度、ライブ配信が行われている際に、演者Ａ，Ｂ，Ｃに対してアイテムを投げることもできる。そして、返礼品としてのプレゼントは、実際の物をユーザＡ，Ｂ，Ｃに対して後日郵送されるようにしてもよい。郵送の際には、実際のサインボールではなく、色紙や演者に関連するグッズやＣＤやＤＶＤ等のアルバム、コンサートの優待券等であってもよい。

〔デプスカメラ１５〕
デプスカメラ１５は、一例として、パルス変調された赤外線を投光するプロジェクタ等の投光部と赤外線カメラ等の赤外線検出部とを備えており、投光した赤外線パルスが反射して戻ってくるまでの時間から深度情報を算出する（Time of Flight(TOF）方式）。デプスカメラ１５は、一例として、常時、スタジオ１０における各所の深度情報等の三次元位置情報を算出している。

また、デプスカメラ１５は、演者Ａ，Ｂ，Ｃの人物領域を抽出し、人物領域と非人物領域とに区分する。一例として、同じ場所（一例としてスタジオ１０）において、人物が映る前後における差分値に基づいて人物領域を算出する。また、一例として、検出する赤外線量が閾値を超える領域を人物領域と判定する。

さらに、デプスカメラ１５は、骨格位置を検出する。デプスカメラ１５は、人物領域における各所の深度情報を取得し、深度と形状の特徴量に基づいて、人物領域に写る人物の実空間上の部位（左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等）を算出し、各部位における中心位置を骨格位置として算出する。デプスカメラ１５は、記憶部に記憶された特徴量辞書を用いて、人物領域から決定される特徴量を、当該特徴量辞書に登録されている各部位の特徴量と照合することにより、人物領域における各部位を算出する。

なお、デプスカメラ１５が赤外線検出部での検出結果を他の装置（サーバ２０、ユーザ端末４０，６０，７０、スタジオ１０に設置された算出装置等）に出力し、他の装置が深度情報を算出、人物領域を抽出、人物領域と非人物領域とに区分、人物領域の検出、骨格位置の検出、人物領域における各部位を特定等の処理を行うようにしてもよい。

また、以上のようなモーションキャプチャ処理は、演者Ａ，Ｂ，Ｃに対してマーカを付けることなく行うものであるが、演者Ａ，Ｂ，Ｃにマーカを付けて行うようにしてもよい。

更に、深度情報を算出するにあたっては、投光した赤外線パターンを読み取り、パターンのゆがみから深度情報を得る方式であってもよい（Light Coding方式）。
更にまた、深度情報は、二眼カメラ、複数台カメラによる視差情報から算出するようにしてもよい。更に、深度情報は、ＲＧＢカメラ１４で取得した映像を画像認識し、写真測量技術等を用いて画像解析することで算出することもできる。この場合、ＲＧＢカメラ１４が検出部として機能することからデプスカメラ１５は不要となる。

〔サーバ２０〕
図２に示すように、サーバ２０は、スタジオ１０の各部とのインタフェース（以下、単に「ＩＦ」という。）を備えており、有線又は無線で接続されている。スタジオ１０の各部と接続するＩＦとしては、オーディオＩＦ２１と、ＲＧＢカメラＩＦ２２と、デプスカメラＩＦ２３と、プロジェクタＩＦ２４と、表示ＩＦ２５とを備えている。更に、データベース２６と、データ記憶部２７と、ネットワークＩＦ２８と、メインメモリ２９と、制御部３０とを備えている。サーバ２０は、ユーザ端末４０，６０，７０にライブデータを配信し、更に、プロジェクタ１６やスタジオモニタ１７やユーザ端末４０，６０，７０の表示を制御する表示制御装置として機能する。

オーディオＩＦ２１は、スタジオ１０の再生装置１１、マイク１３等と接続されている。オーディオＩＦ２１は、再生装置１１から演奏する楽曲データが入力され、マイク１３から演者Ａ，Ｂ，Ｃの音声データが入力される。

ＲＧＢカメラＩＦ２２は、ＲＧＢカメラ１４が撮像したスタジオ１０の映像データが入力される。デプスカメラＩＦ２３は、スタジオ１０の各所や演者Ａ，Ｂ，Ｃの深度情報、人物領域のデータ、骨格位置の深度情報等が入力される。プロジェクタＩＦ２４は、プロジェクタ１６でスタジオ１０のステージの床面等に、アイテムを表示する制御を行う。表示ＩＦ２５は、スタジオ１０に設置されたスタジオモニタ１７を制御する。一例として、表示ＩＦ２５は、スタジオモニタ１７の表示面に、演者Ａ，Ｂ，ＣにプレゼントしたアイテムオブジェクトやユーザＩＤを表示する。これにより、演者Ａ，Ｂ，Ｃは、誰からアイテムがプレゼントされたかを知ることができる。

管理部としてのデータベース２６は、ライブ毎に、本システムに登録したユーザのユーザＩＤに関連付けて、各ユーザのアイテムを管理する。具体的に、データベース２６では、ライブ毎に、各ユーザＩＤに関連付けて、アイテムＩＤと、アイテム送り先ＩＤと、アイテム受取有無と、返礼有無と、返礼受取成否とを管理している。

アイテムＩＤは、ユーザが購入したアイテムを一意に特定するＩＤであり、各ライブにおいて、ユーザがプレゼントしたアイテムを一意に特定するＩＤである。
アイテム送り先ＩＤは、アイテムをプレゼントした演者を一意に特定するＩＤである。

アイテム受取有無は、ユーザがプレゼントしたアイテムの受取を、ユーザが選択した演者が成功したかどうかを管理する。
返礼有無は、ユーザがプレゼントしたアイテを受け取った演者がプレゼントしてくれたユーザに対して返礼を行ったかを管理する。

返礼受取成否は、返礼の受取が成功したかどうかを管理する。
データベース２６は、その他に、ライブ配信に参加可能な全ユーザをユーザＩＤに関連付けて管理している。各ライブに参加するユーザは、登録された全ユーザから選択される。また、データベース２６は、一例として、各アイテムの値段をアイテムＩＤと関連付けて管理している。また、一例として、各ユーザの演者に応じた購入金額の総額を管理している。

図２では、ユーザＡは、アイテムＩＤ「Ａ（花束）」を演者Ｃに対してプレゼントしたが、演者Ｃによってプレゼントが受け取ってもらえなかったことを示している。ユーザＢは、アイテムＩＤ「Ｃ（ヘッドバンド）」を演者Ａに対してプレゼントし、アイテムＡを演者Ａが受け取り、さらに、演者Ａが返礼を行い、その返礼をユーザＡが受け取ったことを示している。ユーザＣは、アイテムＩＤ「Ｂ（エフェクト）」を演者Ｂに対してプレゼントし、アイテムＢを演者Ｂが受け取り、さらに、演者Ｂが返礼を行ったが、ユーザＣがその返礼の受取に失敗したことを示している。

データ記憶部２７は、ハードディスク等の記憶装置である。データ記憶部２７は、ライブ配信システム１に関連する制御プログラムやアイテムのオブジェクトを表示するための表示データ等が保存されている。アイテムのオブジェクトを表示するための表示データは、一例として、アイテムが有形の物、例えば装飾具であるとき、三次元データであり、演者の向きに合わせて装飾具も表示されるようになっている。一例として、装飾具のデータは、演者が正面を向いているとき、装飾具の正面から表示され、演者が横を向いているとき、装飾具も横向きに表示される。制御プログラムは、一例として、ライブデータをユーザ端末４０，６０，７０に対して配信する配信プログラムである。制御プログラムは、一例として、ユーザからのプレゼントされたアイテムのオブジェクトをプロジェクタ１６によってスタジオ１０の床面に表示するアイテム表示制御プログラムである。また、制御プログラムは、一例として、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面に対して、ユーザからプレゼントされたアイテムオブジェクトを、演者Ａ，Ｂ，Ｃと関連付けて表示する表示装置制御プログラムである。また、制御プログラムは、一例として、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面に対して送り主のユーザＩＤのオブジェクトを表示する表示装置制御プログラムである。更に、制御プログラムは、一例として、アイテムがプレゼントされた演者がアイテムをユーザに対して返礼をするとき、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面に対して返礼のアイテムオブジェクトを表示する表示装置制御プログラムである。

ネットワークＩＦ２８は、サーバ２０とユーザ端末４０，６０，７０とをインターネット等のネットワーク２を介して接続する。メインメモリ２９は、一例として、ＲＡＭであり、配信中のライブデータや制御プログラム等を一時的に記憶する。

制御部３０は、一例として、ＣＰＵであり、サーバ２０の全体の動作を制御する。制御部３０は、一例として、配信制御プログラムに従って、ライブデータをユーザ端末４０，６０，７０に対して配信する配信部である。制御部３０は、一例として、アイテム表示制御プログラムに従って、ユーザからのプレゼントされたアイテムをプロジェクタ１６によってスタジオ１０の床面に表示するアイテム表示制御部である。制御部３０は、一例として、ユーザ端末４０，６０，７０の表示を制御する表示装置制御部であり、また、スタジオモニタの表示を制御する表示装置制御部である。

このような制御部３０は、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面に対して、ユーザからプレゼントされたアイテムオブジェクトを、演者Ａ，Ｂ，Ｃと関連付けて表示する表示データを生成し表示する。更に、一例として、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面に対して、送り主のユーザＩＤを表示する表示データを生成し表示する。更に、制御部３０は、一例として、アイテムがプレゼントされた演者がアイテムをユーザに対して返礼をするとき、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面に対して返礼のアイテムの表示データを生成し表示する。

アイテムオブジェクトは、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面に表示するにあたって、スタジオ１０の実空間に本来あるべきアイテムオブジェクト位置に表示される。すなわち、アイテム位置は、スタジオ１０の実空間における位置が三次元位置情報によって特定されている。スタジオモニタ１７やユーザ端末４０，６０，７０の表示面に表示されるアイテムのオブジェクトは、ＲＧＢカメラ１４の向きを変更したとしても、その向きで取得している映像のなかでしかるべきアイテムオブジェクト位置に表示される。また、アイテム位置がＲＧＢカメラ１４の撮像範囲から外れる場合、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面には、アイテムオブジェクトが表示されなくなる。そして、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面には、アイテムオブジェクトは、演者Ａ，Ｂ，Ｃがしゃがんだり、飛び上がったりした場合であっても、演者Ａ，Ｂ，Ｃの動作に合わせて表示されることになる。

制御部３０は、以上のような処理を全て行う必要はなく、一部の処理を他の装置と連携して行うようにしてもよい。一例として、スタジオ１０にパーソナルコンピュータ等の制御装置を設置し、スタジオ１０に設置された制御装置とサーバ２０とで連携して以上のような処理を行うシステムとすることができる。この場合、例えば、サーバ２０は、データベース２６と、メインメモリ２９と、制御部３０とを備えるようにする。また、制御装置は、オーディオＩＦ２１と、ＲＧＢカメラＩＦ２２と、デプスカメラＩＦ２３と、プロジェクタＩＦ２４と、表示ＩＦ２５と、データ記憶部２７と、ネットワークＩＦ２８とを備えるようにする。そして、一例として、制御装置は、データベース２６の更新以外の処理を行うようにしてもよい。例えば、ユーザからのプレゼントされたアイテムのオブジェクトをプロジェクタ１６で表示する処理やスタジオモニタ１７やユーザ端末４０，６０，７０の表示面に表示する処理等である。

また、以上のような処理の一部をユーザ端末４０，６０，７０と連携して行うようにしてもよい。例えば、ＲＧＢカメラ１４により取得した実空間の映像データ、デプスカメラ１５により取得した三次元位置情報等をユーザ端末４０，６０，７０へ送信する。ユーザ端末４０，６０，７０は、ユーザＡ，Ｂ，Ｃの動作を検出し、実空間の映像データ、三次元位置情報、ユーザＡ，Ｂ，Ｃの動作の検出結果に基づいて、最終到達位置までのアイテムの軌跡、アイテムオブジェクトの表示等を自身の表示面に表示する。

〔ユーザ端末４０〕
ユーザ端末４０は、一例として、ユーザＡが管理する装置であり、デスクトップ又はラップトップ型のパーソナルコンピュータ４０ａとスマートウォッチ５０とを備えている。一例として、ラップトップ型のパーソナルコンピュータ４０ａは、オーディオＩＦ４１と、表示ＩＦ４２と、ネットワークＩＦ４３と、通信ＩＦ４４と、データ記憶部４５と、操作ＩＦ４６と、メインメモリ４７と、制御部４８とを備えている。オーディオＩＦ４１は、スピーカ、イヤホン、ヘッドフォン等の音声出力機器やマイク等の音声入力機器と接続されている。表示ＩＦ４２は、一例として、液晶表示装置等の表示装置で構成された表示部４９と接続されている。

ネットワークＩＦ４３は、一例として、ネットワーク２を介してサーバ２０と通信する。通信ＩＦ４４は、一例として、スマートウォッチ５０と通信する。通信ＩＦ４４とスマートウォッチ５０とは、無線ＬＡＮや有線のＬＡＮで接続され、スマートウォッチ５０からユーザ動作情報としての加速度データ、角度データ、角速度データ等が入力される。データ記憶部４５は、不揮発性メモリであり、一例として、ハードディスクやフラッシュメモリである。データ記憶部４５は、ライブデータの再生プログラムやスマートウォッチ５０との通信制御プログラム等が格納されている。操作ＩＦ４６は、キーボードやマウス等の操作装置と接続されている。また、表示ＩＦ４２に接続された表示部４９の表示面にタッチパネルが設けられているときには、当該タッチパネルと接続されている。メインメモリ４７は、一例として、ＲＡＭであり、配信中のライブデータや制御プログラム等を一時的に記憶する。制御部４８は、一例として、ＣＰＵであり、ユーザ端末４０の全体の動作を制御する。一例として、制御部４８は、ライブデータを再生しているとき、演者Ａ，Ｂ，Ｃの中から１人又は複数人を選択し、演者選択データをサーバ２０に対して送信し、また、アイテムのオブジェクトの一覧の中から１つ又は複数のアイテム選択データをサーバ２０に対して送信する。更に、制御部４８は、一例として、スマートウォッチ５０で検出したユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データをサーバ２０に対して送信する。

スマートウォッチ５０は、一例としてユーザＡの利き腕の手首等に装着される腕時計型の情報処理端末である。スマートウォッチ５０は、センサ５１と、通信ＩＦ５２と、データ記憶部５３と、メインメモリ５４と、制御部５５とを備える。センサ５１は、例えば加速度センサやジャイロセンサである。通信ＩＦ５２は、一例として、センサ５１が検出した加速度データやスマートウォッチ５０の角度データや角速度データをパーソナルコンピュータ４０ａに送信する。センサ５１は、一例として、ユーザＡが物を投げる動作をしたとき、その腕の振りに関するユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データを通信ＩＦ５２よりパーソナルコンピュータ４０ａに送信する。データ記憶部５３は、不揮発性メモリであり、一例として、ハードディスクやフラッシュメモリである。データ記憶部５３は、センサ５１を駆動するドライバやパーソナルコンピュータ４０ａとの通信制御プログラム等が格納されている。制御部５５は、一例として、ＣＰＵであり、スマートウォッチ５０の全体の動作を制御する。

なお、ユーザ端末４０と接続される端末は、スマートウォッチ５０ではなく、加速度センサやジャイロセンサを備えスマートフォン等の小型で携帯可能な情報処理端末であってもよい。

〔ユーザ端末６０〕
ユーザ端末６０は、一例として、ユーザＢが管理する装置であり、スマートフォンやタブレット等のスマートデバイス端末である。ユーザ端末６０は、一例として、オーディオＩＦ６１と、表示ＩＦ６２と、操作ＩＦ６３と、センサ６４と、ネットワークＩＦ６５と、データ記憶部６６と、メインメモリ６７と、制御部６８とを備えている。オーディオＩＦ６１は、内蔵スピーカやイヤホン等の音声出力機器や内蔵マイク等の音声入力機器と接続されている。オーディオＩＦ６１は、一例として、ライブデータを音声出力機器から放音する。表示ＩＦ６２は、内蔵の液晶パネル、有機ＥＬパネル等の小型の表示部６９と接続されている。表示部６９には、タッチパネルが設けられ、操作ＩＦ６３は、タッチパネルと接続されている。センサ６４は、例えば加速度センサやジャイロセンサである。ネットワークＩＦ６５は、一例として、ネットワーク２を介してサーバ２０と通信する。ネットワークＩＦ６５は、一例として、ユーザが物を投げる動作をしたとき、センサ６４が検出したユーザ動作情報としての腕の振りに関する加速度データ、角度データ、角速度データの操作データをサーバ２０に送信する。また、ライブデータが表示されている表示面を指やスタイラスペンを用いて、表示されている演者Ａ，Ｂ，Ｃの方向へなぞるスワイプ操作が行われたとき、その座標データ等の操作データをサーバ２０に送信する。データ記憶部６６は、不揮発性メモリであり、一例として、フラッシュメモリである。データ記憶部６６は、ライブデータの再生プログラム等が格納されている。メインメモリ６７は、一例として、ＲＡＭであり、配信中のライブデータや制御プログラム等を一時的に記憶する。

制御部６８は、一例として、ＣＰＵであり、ユーザ端末６０の全体の動作を制御する。一例として、制御部６８は、ライブデータを再生しているとき、演者Ａ，Ｂ，Ｃの中から１人又は複数人を選択し、選択データをサーバ２０に対して送信し、また、アイテムのオブジェクトの一覧の中から１つ又は複数の選択データをサーバ２０に対して送信する。更に、制御部４８は、一例として、ユーザがユーザ端末６０を持って、物を投げる動作をしたとき、その腕の振りの加速度データ、角度データ、角速度データ、座標データ等の操作データをサーバ２０に対して送信する。

以下、ライブ配信システム１の作用について説明する。
〔ライブ配信処理〕
ライブ配信に先立って、先ず、スタジオ１０では、デプスカメラ１５がスタジオ１０における各所の深度情報を取得するとともに、人物領域を算出し、次いで、人物領域において骨格位置を算出しし、各骨格位置における深度情報を算出できるようにする。以後、デプスカメラ１５では、モーションキャプチャ処理が実行される。また、ユーザ端末４０，６０，７０は、サーバ２０に対してログインし、ライブ配信を視聴可能な状態にする。

図３（ａ）に示すように、演者Ａ，Ｂ，Ｃが演奏を開始する際、ステップＳ１において、サーバ２０は、コンテンツデータとしてのライブデータを生成する。具体的に、サーバ２０には、ＲＧＢカメラ１４が撮像したスタジオ１０において演者Ａ，Ｂ，Ｃが演奏している実空間の映像データが入力される。また、サーバ２０には、再生装置１１から楽曲データが入力され、マイク１３から演者Ａ，Ｂ，Ｃの音声データが入力される。そして、サーバ２０は、これらの各種データに基づいて、ユーザ端末４０，６０，７０に対して配信するための演者Ａ，Ｂ，Ｃによるパフォーマンスのライブデータを生成する。また、ステップＳ２において、サーバ２０は、スタジオ１０の各所や演者Ａ，Ｂ，Ｃにおける骨格位置の深度情報が入力される。ステップＳ３において、サーバ２０は、ユーザ端末４０，６０，７０に対してライブデータをライブ配信する。すなわち、サーバ２０は、演者Ａ，Ｂ，Ｃによる演奏をリアルタイムでユーザ端末４０，６０，７０に対して配信する。これにより、図３（ｂ）に示すように、ユーザ端末４０，６０，７０は、表示面に、ライブデータに基づくライブ映像７１が表示され、また、ライブ音声が出力される。

〔アイテム／演者選択処理〕
次に、アイテム／演者選択処理を図４を用いて説明する。ここでは、ユーザＢがユーザ端末６０でライブデータを視聴し操作する場合を例にとり説明する。ステップＳ１１において、サーバ２０は、ユーザ端末６０の表示面に、ライブ映像７１に重畳するように、選択可能なアイテムのオブジェクトが一覧表示するアイテム選択オブジェクト７２を表示する（図５（ａ）参照）。一例として、図５（ａ）では、アイテム選択オブジェクト７２には、左から順に、花束のアイテムを示すオブジェクト７２ａ、演者の動作を演出するエフェクトを付加するアイテムのオブジェクト７２ｂ、猫耳のヘッドバンドのアイテムを示すオブジェクト７２ｃ、ライブ配信の背景画像のアイテムを示すオブジェクト７２ｄが一列に列挙されている。

アイテム選択オブジェクト７２に列挙されるアイテムは、運営者側によって複数用意されるアイテムである。用意されるアイテムは、ライブ毎に異なっていてもよいし、全てのライブで共通していてもよい。また、複数のライブで一部のアイテムが重複していてもよい。サーバ２０のデータベースでは、各アイテムの値段をアイテムＩＤと関連付けて管理している。サーバ２０は、一例として、アイテムＩＤに関連付けられて当該アイテムを表示するためのアイテムデータとして動画データや画像データや音声データや楽曲データ等を保存している。アイテムデータは、一例として三次元データである。

各アイテムは、有料であり、アイテムに応じて金額が決まっており、アイテムＩＤに値段が関連付けられている。一例として、アイテムＩＤ「Ａ」の花束のアイテムは、２００円である。アイテムＩＤ「Ｂ」のエフェクトを付加するアイテムは、３００円である。アイテムＩＤ「Ｃ」の猫耳のヘッドバンドのアイテムは、５００円である。アイテムＩＤ「Ｄ」の背景画像のアイテム「Ｄ」は、１０００円である。一例として、図２のデータベースに示されたユーザＡは、アイテムＩＤ「Ａ」の花束を２００円で購入しており、ユーザＢは、アイテムＩＤ「Ｃ」のヘッドバンドを５００円で購入しており、ユーザＣは、アイテムＩＤ「Ｂ」のエフェクトを３００円で購入している。このように、ユーザＡ，Ｂ，Ｃは、ユーザ端末４０，６０，７０を介してこれらのアイテムを購入することで、演者Ａ，Ｂ，Ｃに対してアイテムをプレゼントできるようになる。これにより、演者Ａ，Ｂ，Ｃ及び運営者は、ユーザＡ，Ｂ，Ｃからプレゼントされたアイテムに応じた売り上げを得ることができる。演者Ａ，Ｂ，Ｃがアイテムを受け取る（例えば拾う）か否かにかかわらず、ユーザＡ，Ｂ，Ｃがプレゼントしたすべてのアイテムが、演者Ａ，Ｂ，Ｃ及びその運営者の売り上げとなる。アイテムの中には、無料のアイテムが存在してもよい。また、１つのライブで、１人のユーザが１つのアイテムを購入してもよいし、複数のアイテムを購入してもよい。データベースでは、各ユーザの演者に応じた購入金額の総額を管理している。これにより、一例として、運営者が管理するサーバ２０は、多くアイテムを購入したユーザに対して演者から優先的に返礼を行う処理等を行うことができるようになる。

ユーザ端末６０でアイテム選択オブジェクト７２の一覧の中から１つのアイテムがユーザＢにより選択されると、ユーザ端末６０は、ユーザＩＤと選択したアイテムのアイテムＩＤを含むアイテム選択データをサーバ２０に対して送信する。ステップＳ１２において、サーバ２０は、アイテム選択データに基づいてアイテムの選択処理を行う。サーバ２０は、選択されたアイテムのオブジェクト７２ｃのみをユーザ端末６０に表示する選択データをユーザ端末６０対して送信し、ユーザ端末６０の表示面に、ライブ映像７１に対して重畳するように、オブジェクト７２ｃを表示する。図５（ｂ）では、一例として、サーバ２０がヘッドバンドのアイテムを示すオブジェクト７２ｃを選択し、ユーザ端末６０の表示面の下側の角に表示した状態を示している。あわせて、サーバ２０は、演者Ａ，Ｂ，Ｃにも現在アイテム選択処理の状態にあることを知らせるため、スタジオモニタ１７にも同様な表示を行う。

また、サーバ２０は、ユーザ端末６０の表示面に、一例として、演者Ａ，Ｂ，Ｃを１人ずつ囲む演者選択オブジェクト７３を表示する。ここで、ユーザ端末６０の表示面には、一例として、ユーザＢが次に演者選択操作を知らせる第１教示オブジェクト７３ａもあわせて表示する。ユーザ端末６０で１つの演者選択オブジェクト７３を選択すると、ユーザ端末６０は、ユーザＩＤと選択した演者の演者ＩＤを含む演者選択データをサーバ２０に対して送信する。ステップＳ１３において、サーバ２０は、演者選択データに基づいて演者の選択処理を行う。サーバ２０は、ユーザ端末６０の表示面に、ライブ映像７１に重畳するように、選択した演者Ａに対して演者決定オブジェクト７４を表示する。図５（ｃ）では、一例として、サーバ２０が演者Ａを選択し、ユーザ端末６０の表示面に表示した状態を示している。演者選択オブジェクト７３や演者決定オブジェクト７４は、四角形状でもよいが、これに限定されるものではなく、例えば円形形状や三角形状であってもよい。あわせて、図５（ｄ）に示すように、サーバ２０は、演者Ａ，Ｂ，Ｃにも現在演者選択処理の状態にあることを知らせるため、スタジオモニタ１７にも同様な表示を行う。スタジオモニタ１７では、ユーザＢが選択したアイテムを送ろうとしていることを示す第２教示オブジェクト７４ａを表示する。

なお、サーバ２０は、アイテムと演者が選択されると、データベース２６に選択されたアイテムと演者を登録する。
この後、ユーザ端末６０のユーザは、ユーザ端末６０を操作しながらスタジオ１０に居る演者Ａ，Ｂ，Ｃに対してアイテムをプレゼントできる状態となる。具体的に、ユーザ端末６０のユーザＢは、ユーザ端末６０を手に持って物を投げる動作をすることで、選択したアイテムを自分が選択した演者に対して投げる疑似体験をすることができる。具体的に、サーバ２０は、ユーザ端末６０と同期処理を開始し、ユーザ端末６０は、単位時間ごとに、センサ６４で検出したユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データをサーバ２０に対して送信する。ステップＳ１４において、サーバ２０は、ユーザが投げ動作を行ったことを判定するための閾値を記憶しており、閾値を超えたとき、ユーザ端末６０で投げ動作が行われたと判定する。一例として、サーバ２０は、投げ動作を特定するため、加速度データ、角度データ、角速度データ等の閾値を記憶している。サーバ２０は、加速度データ、角度データ、角速度データ等が閾値を超えたとき、投げ動作が行われたと判定する。また、タッチパネルのスワイプ操作が行われた際の始点と終点の距離等が閾値を超えたとき、投げ動作が行われたと判定する。なお、ユーザ端末４０の場合、加速度データ、角度データ、角速度データ等が閾値を超えたとき、投げ動作が行われたと判定する。

ステップＳ１５において、サーバ２０は、ユーザ端末６０から送信された腕の振りに関する加速度データ、角度データ、角速度データ等の操作データに基づいてユーザの腕の振りの向きや速さ等を解析する。これにより、サーバ２０は、投げられたアイテムが投げられたときの軌跡や落下位置であるアイテム位置が算出される。一例として、アイテム位置は、デプスカメラ１５の検出部を原点とする三次元座標系等で特定することができる。

ステップＳ１６において、サーバ２０は、解析結果に基づいて、ユーザ端末６０の表示面に表示する落下するヘッドバンドのアイテムを示す落下オブジェクト７５の表示データを生成し、ユーザ端末６０に対して送信する。これにより、図５（ｅ）に示すように、ユーザ端末６０の表示面には、落下オブジェクト７５が演者Ａに向かって来るようにリアルタイムに表示される。また、同様の落下オブジェクト７５の表示データをスタジオ１０のスタジオモニタ１７に対して送信し、スタジオモニタ１７にも落下オブジェクト７５がリアルタイムに表示される。落下オブジェクト７５は、スタジオモニタ１７やユーザ端末６０の表示面に表示するにあたって、スタジオ１０の実空間に本来あるべきアイテムオブジェクト位置に表示される。すなわち、アイテムの位置は、スタジオ１０の実空間におけるアイテム位置が三次元位置情報によって特定されている。したがって、落下オブジェクト７５は、仮にＲＧＢカメラ１４の向きを変更したとしても、そのＲＧＢカメラ１４の向きで取得している映像のなかでしかるべきアイテムオブジェクト位置に表示される。また、アイテム位置がＲＧＢカメラ１４の撮像範囲から外れる場合には、落下オブジェクト７５が表示されなくなる。

なお、スタジオモニタ１７に落下オブジェクト７５を表示する処理は、次のステップＳ１７でプロジェクタ１６によってスタジオ１０の床面に落下オブジェクト７５が表示されることから省略してもよい。

ステップＳ１７において、サーバ２０は、プロジェクタ１６に対して落下オブジェクト７５の表示データを送信し、プロジェクタ１６は、スタジオ１０の床面において、飛翔した状態で演者Ａに向かってくるアイテムのオブジェクトやアイテム位置に落下したアイテムのオブジェクトをリアルタイムに表示する。これにより、演者Ａ，Ｂ，Ｃは、落下オブジェクト７５の落下位置を把握することができる。

なお、落下オブジェクト７５は、少なくともアイテム位置に表示されえればよく、アイテム位置まで飛翔してくるまでの途中の状態や軌跡は表示しなくてもよい。
また、アイテム位置が演者Ａ，Ｂ，Ｃの行動する演者行動範囲内にならないように落下オブジェクト７５を表示してもよい。また、アイテム位置に至るまでの間はオブジェクトが演者行動範囲内に入ってもよいが、ユーザがプレゼントしたアイテムのオブジェクトが最終的に演者行動範囲内に入らないように落下オブジェクト７５を表示するようにしてもよい。また、ユーザが演者にアイテムをプレゼントする動作（例えば投げる）を検出して算出したアイテム位置が演者行動範囲内に位置したとしても、演者行動範囲内にオブジェクトを表示しないようにしてもよい。この場合、例えば、算出したアイテム位置を考慮して、演者行動範囲外の近傍（演者行動範囲外であって、算出したアイテム位置に最も近い位置）にオブジェクトを表示する。このような表示形態によれば、演者Ａ，Ｂ，Ｃが誤ってプレゼントされたアイテムを踏んでしまうことを防ぐことができる。

なお、演者行動範囲は、一例として、スタジオ１０等におけるステージ等である。また、演者行動範囲は、１曲のなかで前奏、間奏及び後奏の期間と、それ以外の期間とで異なる範囲を設定してもよい。また、曲を演奏している期間と演奏していない期間とで異なる範囲を設定してもよい（例えば曲を演奏している期間は演者が曲に合わせて行動する範囲とし、曲を演奏していない期間は演者行動範囲をなしとする）。更に、演奏中の曲にあわせて異なる範囲を設定してもよいし、ライブ配信している期間はずっと同じ範囲に設定してもよい。演奏に限らず、演技している期間と、演技前後の期間とで異なる範囲を設定してもよい。

更に、アイテムが演者に当たったら、アイテムをその場で落下させたり、アイテムの飛ぶ向きが変わるようにしてもよいし、移動させるようにしてもよい。
〔アイテム取得処理〕
次に、ユーザＢがプレゼントしたヘッドバンドのアイテムを演者Ａが取得する動作について図６を参照して説明する。

サーバ２０では、常時、デプスカメラ１５からは各演者Ａ，Ｂ，Ｃの骨格位置と各骨格位置の深度情報が入力されている。また、サーバ２０は、ＲＧＢカメラ１４からの映像から演者Ａ，Ｂ，Ｃの顔検出をしている。これにより、サーバ２０は、演者Ａの各骨格位置と、当該骨格位置の深度情報と、演者Ａの顔の位置を追跡している。ステップＳ２１において、サーバ２０は、演者Ａがヘッドバンドのアイテムを拾ったと判定する。一例として、サーバ２０は、スタジオ１０の床に落ちているアイテムを拾う動作を特定するため、左右何れかの手の骨格位置と左右何れかの足の骨格位置の距離や左右何れかの手の骨格位置と床面との距離等に関する閾値を記憶している。サーバ２０は、算出した左右何れかの手の骨格位置と左右何れかの足の骨格位置の距離や左右何れかの手の骨格位置とアイテム位置における床面との距離等のデータが閾値を超えたとき、演者Ａがヘッドバンドのアイテムを拾ったと判定する。一例として、サーバ２０は、左右何れかの手の位置が床面のアイテム位置と重なったとき、演者Ａがヘッドバンドのアイテムを拾ったと判定する。換言すると、ユーザから演者にプレゼントされたアイテムのオブジェクトの範囲内に演者が位置したかを判定する。アイテムのオブジェクトの範囲は、一例として、三次元位置情報と、ユーザ動作情報と、アイテムの種類とによって決定される。一例として、ヘッドバンドの場合、ヘッドバンドの外形形状の範囲となる。左右何れかの手の位置と床面のアイテム位置とが重なったかどうかの判定は、一例として、演者の手の位置の三次元情報（１点）とアイテム位置の三次元情報（１点）とが重なったかを判定する。また、一例として、演者の手の位置の三次元情報（複数点）とアイテム位置の三次元情報（１点）とが重なったかを判定する。更に、一例として、演者の手の位置の三次元情報（１点）とアイテム位置の三次元情報（複数点）とが重なったかを判定する。更に、一例として、演者の手の位置の三次元情報（複数点）とアイテム位置の三次元情報（複数点）とが重なったかを判定する。更に、一例として、演者の手の位置の三次元情報（指先等の領域）とアイテム位置の三次元情報（落下オブジェクト７５が表示されている領域）とが重なったかを判定する。左右何れかの手の位置と床面のアイテム位置とが重なったかどうかの判定は、演者の手の位置の三次元情報とアイテム位置の三次元情報とが１点ではなく、複数点や領域が重なったかを判定するようにした方が行いやすくなる。

ステップＳ２２において、サーバ２０は、スタジオ１０の床面に表示している落下オブジェクト７５を非表示にする制御を行う。アイテムが演者Ａに拾われれば、床面からはアイテムが無くなるからである。

アイテムが演者Ａに拾われてから演者Ａの頭部に装着されるまでの間は、演者Ａの手に持たれることになる。一例として、図７（ａ）は、演者Ａがヘッドバンドのアイテムを拾った状態を示している。そこで、ステップＳ２３において、サーバ２０は、演者Ａの取得動作を解析する。すなわち、サーバ２０は、演者Ａの各骨格位置と、当該骨格位置の深度情報と、演者Ａの顔の位置からヘッドバンドのアイテムを頭部に装着するまでの動作を解析する。ステップＳ２４において、サーバ２０は、解析結果に基づいて、スタジオモニタ１７及びユーザ端末６０の表示面に、拾ってから頭部に装着するまでのヘッドバンドのアイテムを示す取得オブジェクト７６の表示データを生成し、スタジオモニタ１７及びユーザ端末６０に対して送信する。これにより、一例として、スタジオモニタ１７及びユーザ端末６０の表示面には、取得オブジェクト７６が床面のアイテム位置から頭部に移動するまでの間、拾った手に関連付けられて表示される。

ステップＳ２５において、サーバ２０は、演者Ａがヘッドバンドのアイテムを頭部に装着する装着動作を解析する。すなわち、サーバ２０は、演者Ａの各骨格位置と、当該骨格位置の深度情報と、演者Ａの顔の位置からヘッドバンドのアイテムを頭部に装着動作を解析する。一例として、サーバ２０は、左右何れかの手の位置が頭部の位置と重なったときに装着動作を検出する。ステップＳ２６において、サーバ２０は、スタジオモニタ１７及びユーザ端末６０の表示面に、演者Ａ，Ｂ，Ｃの頭部の装着位置に取得オブジェクト７６を表示する表示データを生成し、スタジオモニタ１７及びユーザ端末６０に対して送信する。一例として、サーバ２０は、髪色と背景との境界部分に沿うように取得オブジェクト７６を表示する表示データを生成する。これにより、一例として、スタジオモニタ１７及びユーザ端末６０の表示面には、取得オブジェクト７６が演者Ａの頭部に装着された状態が表示される（図７（ｂ）参照）。サーバ２０は、演者Ａの頭部を追跡しており、演者Ａが動いたとしても常にヘッドバンドのアイテムが装着されているように表示する。

演者Ａは、振り付けによっては、横を向くことがある。このような場合であっても、サーバ２０は、演者Ａの向きに合わせて、取得オブジェクト７６を表示する（図７（ｃ）参照）。各演者Ａの向きは、ＲＧＢカメラ１４からの表示データから演者Ａの顔検出をし、デプスカメラ１５から演者Ａの骨格位置を算出することで判定することができ、アイテムのオブジェクトを表示するデータも三次元データであり、何れの向きからの表示も可能である。これらのデータに基づいて、演者Ａが横向きになったことを検出した場合には、演者Ａの向きに合わせてヘッドバンドのオブジェクトの向きも変化される。そして、取得オブジェクト７６は、演者Ａがしゃがんだり、飛び上がったりした場合であっても、演者Ａの動作に合わせて表示されることになる。

なお、サーバ２０は、選択した演者によってアイテムが取得されると、成功した旨がデータベース２６に登録される。
演者Ａにヘッドバンドのアイテムが装着されると、ステップＳ２７において、サーバ２０は、ヘッドバンドのアイテムを演者ＡにプレゼントしたユーザＢを示すユーザＩＤのＩＤオブジェクト７６ａをスタジオモニタ１７及びユーザ端末６０の表示面に表示する。これにより、演者Ａは、ヘッドバンドのアイテムをプレゼントしてくれたユーザのユーザＩＤを視認することができ、また、ユーザＢも、自分のユーザＩＤが表示されることで、自分のプレゼントしたヘッドバンドのアイテムが演者Ａに装着されたことを視認することができる。なお、サーバ２０は、プロジェクタ１６でスタジオ１０の床面にも表示するようにしてもよい。

アイテムのオブジェクトを演者に関連付けて表示する期間は、取得してからのライブ配信が行われている全期間であってもよいし、１曲毎であってもよい。また、間奏の間は表示しないようにしてもよい。

また、演者が一度装着したアイテムを取り外し、例えばボックス（スタジオに設置する等実在するものでもよいし、アイテムと同様に仮想のオブジェクトにしてもよい。）に収納したり置いたりすることができる。これにより、数多くのアイテムが演者にプレゼントされた場合、演者は複数のプレゼントを装着することができる。例えば演者がヘッドバンドを一度に複数装着することもできるし、それまで演者が装着していたヘッドバンドを外して、新たなヘッドバンドを拾って装着できる。このような場合において、ボックスを机や収納箱のように使用して、違和感なく、ヘッドバンドの付け替え作業等を演出することができる。

〔返礼処理〕
間奏の間は、演者Ａ，Ｂ，Ｃも歌唱を行わないことから、アイテムをプレゼントしてくれたユーザＢに対してお返しである返礼の動作を行うことができる。ステップＳ３１において、サーバ２０は、ライブ演奏中の楽曲が間奏に入ったかを判定する。サーバ２０は、一例として、マイク１３からの音声入力が所定期間なかったときに、間奏に入ったと判定することができる。また、サーバ２０は、一例として、再生装置１１から間奏に入ったことを示す検出信号が入力されたとき、間奏に入ったと判定することができる。また、一例として、間奏に入ったことを示す動作を検出することによって、間奏に入ったと判定することができる。サーバ２０は、一例として、ユーザ端末６０と同期処理を開始し、ユーザ端末６０における表示やユーザ端末６０で操作される返礼受取処理を検出できるようにする。

なお、返礼処理は、間奏の間ではなく、曲と曲の間に行ってもよい。また、舞台等で演劇やミュージカル等を行っているときには、第Ｎ幕と第Ｎ＋１幕との間等であってもよい。

なお、間奏の終了は、マイク１３からの音声入力があったときや再生装置１１から間奏が終了することを示す検出信号が入力されたときに、間奏の終了を判定することができる。また、間奏が終了したことを示す動作を検出することによって、間奏が終了したと判定することができる。

上述したステップＳ２７において、サーバ２０は、ヘッドバンドのアイテムを演者ＡにプレゼントしたユーザＢのユーザＩＤをスタジオモニタ１７及びユーザ端末６０の表示面に表示している。したがって、演者Ａは、ヘッドバンドのアイテムを演者ＡにプレゼントしたユーザＢのユーザＩＤをマイク１３に向かって呼ぶ。すると、ステップＳ３２において、サーバ２０は、マイク１３で集音した音声データを音声認識し、ユーザＢのユーザＩＤを特定する。なお、サーバ２０は、返礼する相手となるユーザに対しては、返礼を行う旨がデータベース２６に登録される。

ステップＳ３３において、サーバ２０は、演者Ａの返礼動作を検出する。サーバ２０は、一例として、演者が返礼動作に移行することを示す特徴的な特定動作を検出する。一例として、サーバ２０は、特定動作を判定するための各骨格位置の閾値を記憶しており、各骨格位置のデータが閾値を超えたとき、演者Ａが特定動作を行ったと判定する。ここで、演者ＡからユーザＢに対する返礼品は、一例として、演者Ａのサインボールであり、演者Ａは、特定動作に次いで、スタジオ１０から実際にはスタジオ１０にはいないユーザＢに対してサインボールを投げる動作をする。ステップＳ３４において、サーバ２０は、演者Ａの各骨格位置と、当該骨格位置の深度情報と、演者Ａの顔の位置から返礼動作を解析する。ステップＳ３５において、サーバ２０は、一例として、スタジオモニタ１７及びユーザ端末６０の表示面に、演者Ａによる投げ動作の開始部分において、演者Ａの左右何れかの手の位置にサインボールの返礼オブジェクト７７を表示する表示データを生成し、スタジオモニタ１７及びユーザ端末６０に対して送信する。これにより、図９（ａ）に示すように、一例として、スタジオモニタ１７及びユーザ端末６０の表示面には、返礼オブジェクト７７がリアルタイムに表示される。また、サーバ２０は、スタジオモニタ１７及びユーザ端末６０の表示面にユーザＢの手を模した受取オブジェクト７８を表示する表示データを生成し、スタジオモニタ１７及びユーザ端末６０に対して送信する。受取オブジェクト７８がサインボールを投げる際の仮想的な目標となる。

ステップＳ３６において、サーバ２０は、演者Ａによる投げ動作を解析する。具体的に、サーバ２０は、演者Ａの各骨格位置と、当該骨格位置の深度情報と、演者Ａの顔の位置から演者Ａの腕の振り等を検出する。ステップＳ３７において、サーバ２０は、スタジオモニタ１７及びユーザ端末６０の表示面に、投げる動作の途中にある演者Ａの左右何れかの手の位置に返礼オブジェクト７７を表示する表示データ生成する。また、左右何れかの手から離れ飛翔している状態の返礼オブジェクト７７を表示する表示データを生成する。そして、スタジオモニタ１７及びユーザ端末６０に対して送信する。これにより、図９（ｂ）に示すように、一例として、スタジオモニタ１７及びユーザ端末６０の表示面には、受取オブジェクト７８の方向にサインボールが投げられたようにリアルタイムに表示される。

なお、演者Ａのサインボールを投げる腕には、エフェクトを付与するようにしてもよい。一例として、このエフェクトは、演者の動きを検出して、検出した動きに応じたエフェクトとして、多数の点滅する星型図形を移動する演者Ａの腕の移動方向の下流側の縁に表示するものである。一例として、エフェクトは、返礼動作を検出した時点で、演者Ａのサインボールを投げる腕に関連付けて表示する。そして、投げる動作に移ると、振っている腕の移動に合わせて、腕の移動方向の下流側の縁に表示される。また、返礼動作が検出された時点で、背景画像を返礼処理のときに表示する特定画像に変更してもよい。

ユーザ端末６０で返礼オブジェクト７７が受取オブジェクト７８に届くタイミングで受取操作を行うと、ユーザ端末６０は、ユーザＩＤを含む受取データをサーバ２０に対して送信する。受取操作とは、ボールを抱える動作であり、画面の何れかの位置や受取オブジェクト７８を、マウスでクリックする操作である。受取操作は、一例として、タッチパネルをタッチする操作である。ステップＳ３８において、サーバ２０は、受取データを受信したとき、返礼の受け取った旨をデータベース２６に登録する。このとき、サーバ２０は、スタジオモニタ１７及びユーザ端末６０の表示面に、受取オブジェクト７８によって返礼オブジェクト７７がキャッチされた状態を表示する表示データを生成し、スタジオモニタ１７及びユーザ端末６０に対して送信する。これにより、図９（ｃ）に示すように、一例として、スタジオモニタ１７及びユーザ端末６０の表示面には、手でサインボールをキャッチした状態が表示される。

なお、返礼オブジェクト７７が受取オブジェクト７８に届くタイミングで受取操作を行わなかったときは、ユーザＩＤを含む受取失敗データをサーバ２０に対して送信し、サーバ２０は、受取失敗データを受信したとき、返礼の受取を失敗した旨をデータベース２６に登録する。

〔他のアイテム〕
図５（ａ）において示す演者の動作を演出するエフェクトを付加するアイテムのオブジェクト７２ｂは、演者Ａ，Ｂ，Ｃに対して次のようなエフェクトを付加する。図１０（ａ）は、選択された演者Ａに対してエフェクトオブジェクト８１が付加されている。このエフェクトオブジェクト８１の映像は、演者の動きを検出して、検出した動きに応じたエフェクトとして、多数の点滅する星型図形を移動する演者Ａの腕の移動方向の下流側の縁に表示している。このようなエフェクトオブジェクト８１は、上述のヘッドバンドのように有形の物ではない。図１０（ｂ）に示すように、選択した演者Ａに対して投げるときは、プレゼント用のリボン等が付いた箱オブジェクト８２とする。そして、図１０（ｃ）に示すように、選択し演者Ａによって取得されたとき、すなわち左右何れかの手の位置がアイテム位置と重なったとき、箱オブジェクト８２を非表示とし、以降、エフェクトオブジェクト８１を表示する制御を行う。

一例として、演者Ａがしゃがんだり、飛び上がったりした場合であっても、演者Ａの動作に合わせて表示される。一例として、演者Ａ，Ｂ，Ｃがジャンプする前後でエフェクトを変化させてもよい。一例として、ジャンプ前は点滅する星型図形でエフェクト表示し、ジャンプ後は、異なる図形を点滅表示する。また、一例として、予め複数の特定動作が定義されており、１つの特定動作が検出されたときには、その動作に関連付いた特定のエフェクトを付与する表示を行う。また、一例として、特定動作が検出されたときには、エフェクトを付与する表示を停止する。また、一例として、特定動作が検出されるまでは、エフェクトを付与する表示を行わない。

図１０（ｄ）は、ライブ配信の背景画像のアイテムを示すオブジェクト７２ｄが選択された状態を示している。このような背景画像のオブジェクト７２ｄの場合にも、上述のヘッドバンドのように有形の物ではない。このため、選択した演者Ａに対して投げるときは、プレゼント用の箱オブジェクト８２を使用することが好ましい。

なお、ヘッドバンドのアイテムを選択したときにも、選択した演者Ａに対して投げるときは、プレゼント用の箱オブジェクト８２を表示するようにしてもよい。
また、返礼オブジェクト７７は、返礼をするユーザのユーザ端末４０，６０，７０に対してのみ表示するようにしてもよい。これにより、演者とユーザの１対１のコミュニケーションを実現することができる。

〔他のアイテム／演者選択処理〕
以上の例においては、ユーザＢが演者Ａを選択した場合を説明したが、演者Ａの代わりに演者Ｂや演者Ｃを選択可能であるし、１人のユーザが１つのユーザ端末４０，６０，７０から演者Ａと共に、複数の演者、例えば演者Ｂや演者Ｃを選択してもよい。複数の演者を選択した場合において、ライブ配信の背景画像のアイテムを示すオブジェクト７２ｄ以外であれば、異なるアイテムが選択されてもよいし、同じアイテムが選択されてもよい。

上記ライブ配信システム１によれば、以下に列挙する効果を得ることができる。
（１）ライブ配信システム１では、ユーザ欲求として、例えばユーザは演者にアイテムを受け取ってほしい気持ちから、演者に受け取ってもらえるまでアイテムを購入して演者へプレゼントする。また、ユーザは演者に受け取ってもらえる可能性を少しでも高めたいと思うがために、少しでも演者の近くにアイテムを投げようとする。また、ユーザ間競争意識として、例えば自分は演者にアイテムを受け取ってもらったことがある、お返しをもらったことがあるといった競争意識が生まれる。これにより、ユーザによるアイテム購入を促すことができる。このように、運営者および演者の収益を高めることができる。

（２）スタジオ１０にユーザＡ，Ｂ，Ｃは、スタジオ１０で演奏している演者Ａ，Ｂ，Ｃに対してアイテムをスタジオ１０に対して投げるような動作をしてプレゼントすることができる。プレゼントされたアイテムは、スタジオ１０の床面に落下オブジェクト７５として表示される。これにより、演者Ａ，Ｂ，Ｃも、ファン等のユーザＡ，Ｂ，Ｃからアイテムがプレゼントされたことを視認することができる。また、ユーザ端末４０，６０，７０にも演者Ａ，Ｂ，Ｃの前に表示されることから、ユーザＡ，Ｂ，Ｃも自分が投げたアイテムが演者Ａ，Ｂ，Ｃの前に届いたことを視認することができる。このように、ユーザＡ，Ｂ，Ｃは、実際にスタジオ１０に居なくても、スタジオ１０に居るかのようにユーザ端末４０，６０，７０から演者Ａ，Ｂ，Ｃに対してアイテムをプレゼントすることができる。また、演者Ａ，Ｂ，Ｃも、実際のプレゼントを受け取るような振る舞いを行うことができる。

（３）プレゼントした演者Ａ，Ｂ，Ｃがスタジオ１０の床面に表示されたアイテムのオブジェクトを拾う振りをした場合、ユーザ端末４０，６０，７０には、プレゼントした演者Ａ，Ｂ，Ｃが実際に身に着けたように表示される。したがって、プレゼントしたユーザは、自分がプレゼントしたアイテムを受け取ってもらえたことを視認することができる。

（４）ユーザがスタジオ１０で演奏している演者Ａ，Ｂ，Ｃに対してアイテムをスタジオ１０に対して投げるような動作をしてプレゼントしたとき、ユーザ端末４０，６０，７０からは腕の振りに関する加速度データ、角度データ、角速度データ等の操作データが送信される。したがって、腕の振りの速さ等に応じて、アイテムが落ちるアイテム位置を変えることができる。したがって、ユーザＡ，Ｂ，Ｃは、なるべくアイテムが選択した演者Ａ，Ｂ，Ｃの前に落下するように、腕の振りの速さ等を調整することができ、娯楽性を高めることができる。

（５）演者Ａ，Ｂ，Ｃには、アイテムをプレゼントしたユーザＡ，Ｂ，ＣのユーザＩＤを視認させることができる。
（６）演者Ａ，Ｂ，Ｃは、プレゼントしてくれたユーザＡ，Ｂ，Ｃに対して返礼をすることができる。これにより、演者Ａ，Ｂ，Ｃとユーザとの間で双方向のコミュニケーションを実現することができる。

（７）返礼のアイテムも、演者Ａ，Ｂ，Ｃの動作に応じて、ユーザ端末４０，６０，７０に表示することができる。さらに、返礼のアイテムをタイミング良くキャッチする操作をユーザ端末４０，６０，７０で行うことができるようにすることで、一層、娯楽性を高めることができる。

なお、上記ライブ配信システムは、以下のように適宜変更して実施することもできる。
・演者Ａ，Ｂ，Ｃは、プレゼントしてくれたユーザＡ，Ｂ，Ｃに対して返礼をする場合において、返礼オブジェクト７７を使用して演者Ａ，Ｂ，Ｃが返礼の動作を行わなくてもよい。この場合、プレゼントしてくれたユーザＡ，Ｂ，Ｃに対して、返礼の有形プレゼントを郵送するようにしてもよい。これにより、ライブ配信システム１の処理を簡素化することができる。

・返礼品は、有形のプレゼントは、実際の物をユーザＡ，Ｂ，Ｃに対して後日郵送されるようにしてもよい。郵送の際には、実際のサインボールではなく、色紙や演者に関連するグッズやＣＤやＤＶＤ等のアルバム、コンサートの優待券等であってもよい。返礼を郵送する場合は、データベース２６において、返礼の受け取った旨が登録されているユーザに対して行う。この場合の送り主は、演者Ａ，Ｂ，Ｃであってもよいし、本システムの運営者であってもよい。なお、受取失敗の場合、そのユーザは、有形のプレゼントも受け取ることができない（郵送されない）ようにしてもよい。

・演者Ａ，Ｂ，Ｃは、プレゼントしてくれたユーザＡ，Ｂ，Ｃに対して返礼を行わなくてもよい。すなわち、サーバ２０は、返礼処理を省略してもよいし、また、アイテムを受け取ったとしても、返礼品を郵送しなくてもよい。

・一例として、プレゼントしてくれたユーザＡ，Ｂ，Ｃに対して返礼を行わない場合、ユーザＩＤとプレゼントしたアイテムとを関連付けて管理しなくてもよい。これにより、ライブ配信システム１の処理を簡素化することができる。

・ユーザ端末６０のように、タッチパネルを備えている場合、ライブデータが表示されている表示面を指やスタイラスペンを用いて、表示されている演者Ａ，Ｂ，Ｃの方向へなぞる操作を行って、選択した演者Ａ，Ｂ，Ｃに対してアイテムをプレゼントする操作を行うようにしてもよい。この場合、ユーザ端末には、加速度センサやジャイロセンサが不要となる。また、タッチパネルを備えないユーザ端末をユーザが使用している場合には、マウスを用いて、ポインタを表示されている演者Ａ，Ｂ，Ｃの方向へ移動させる操作を行って、選択した演者Ａ，Ｂ，Ｃに対してアイテムをプレゼントする操作を行うようにしてもよい。

・少なくとも、演者Ａ，Ｂ，Ｃに投げたアイテムの落下オブジェクトは、アイテム位置に少なくとも表示されればよく、落下オブジェクトがアイテム位置に届くまでの軌跡は省略してもよい。

・演者が実演する実空間は、スタジオ１０以外であってもよく、ライブ会場やコンサート会場であってもよい。この場合、プロジェクタ１６は、ステージにアイテムのオブジェクトを表示することになり、ユーザは、観客席に居ながら、ユーザ端末６０のような自身の小型で携帯可能な情報処理端末を用いて演者に対してアイテムを投げる操作を行うことができる。

・アイテムのオブジェクトをスタジオ１０に表示する手段は、プロジェクタ１６に限定されるものではない。一例として、スタジオ１０の床を、液晶表示パネル等の複数のフラット表示パネルを表示面が床面を向くように並べ、表示面の上に透明な合成樹脂板を敷いて構成し、床面に、アイテムのオブジェクトを表示するようにしてもよい。また、アイテム位置をレーザポインタで指し示すだけでもよい。空中ディスプレイ技術、空中結像技術、エアリアルイメージング技術を用いてアイテムを表示するようにしてもよい。アイテムは、二次元画像（コンピュータグラフィックス（ＣＧ））または三次元画像（コンピュータグラフィックス（ＣＧ））で表示するようにしてもよい。さらに、床面に多数のロッドを敷き詰め床面に対して垂直方向にロッドを昇降させて、床面を波状に変化させることによって、アイテムのオブジェクトを表すようにしてもよい。また、アイテムのオブジェクトをスタジオ１０に表示する手段は、これらの装置を組み合わせたものであってもよい。

・返礼のアイテムをデータベース２６に登録し、次回のライブのときに、返礼のアイテムを演者に投げるようにしてもよい。このようなアイテムは、ユーザが購入することができない非売品アイテムである。当該アイテムと他のユーザのアイテムとが競合したときには、当該アイテムを優先して演者が装着する制御を行うようにしてもよい。非売品のアイテムとしては、装飾具でもよいし、エフェクトを付与するものでもよいし、背景画像であってもよい。

・演者やユーザによる特定の動作（例えば物を投げる動作、又、どの方向へ、どの程度の強さで投げたのか）は、スマートウォッチ５０の検出部やスマートデバイス端末６０ａの検出部による検出結果に基づいて判定（検出）するものに限定されない。例えばカメラで取得した映像に基づいて、フレーム間差分や動きベクトルを算出して、判定するようにしてもよい。

一例として、ユーザＡ，Ｂ，Ｃが演者Ａ，Ｂ，Ｃへアイテムをプレゼントする際にユーザが行う動作を加速度センサやジャイロセンサを用いて検出するのではなく、例えば、次のように行う。ユーザの正面に、ウェブカメラ、ビデオカメラ等動画撮影機能を有するカメラを設置する。ここでのカメラは、一例として、ラップトップ型のパーソナルコンピュータに一体に設けられたウェブカメラであり、一例として、デスクトップ型パーソナルコンピュータに接続されたウェブカメラやビデオカメラである。また、一例として、スマートデバイス端末に内蔵されたカメラである。そして、ユーザ端末４０，６０，７０、サーバ２０、又は、それ以外の他の装置は、ビデオデータを構成するフレームのフレーム間差分によってユーザの物を投げる動きデータを算出し、動きデータに基づいて投げる動作を検出する。又は、基準となるフレームからのオブジェクトの動きベクトルを検出して、ユーザの物を投げる動作を検出する。この後、スタジオ１０の床面のアイテム位置やユーザ端末４０，６０，７０の表示面に、アイテムの軌跡やアイテムを演者Ａ，Ｂ，Ｃが認識できるように表示されるようになる。

また、ユーザＡ，Ｂ，Ｃが演者Ａ，Ｂ，Ｃへプレゼントしたアイテムを演者Ａ，Ｂ，Ｃが取得する動作を上述したフレーム間差分や動きベクトルを用いた画像解析を用いて検出してもよい。一例として、演者Ａ，Ｂ，Ｃがアイテムを拾うときのしゃがんだり屈んだりする動作やアイテムに触る又はアイテムが表示されたアイテム位置を触る動作を上記画像解析で検出する。この後、演者Ａ，Ｂ，Ｃがアイテムを装着したり演者Ａ，Ｂ，Ｃに対してエフェクトを付加する処理を行うことができる。

更に、演者Ａ，Ｂ，Ｃが取得したアイテムを装着する動作を上記画像解析等を用いて検出してもよい。一例として、演者Ａ，Ｂ，Ｃ自身の頭部へアイテムを移動する動作を上記画像解析で検出することができる。

更に、演者Ａ，Ｂ，ＣがユーザＡ，Ｂ，Ｃへアイテムを返礼する動作を上記画像解析処理を用いて検出してもよい。一例として、スタジオ１０で演者Ａ，Ｂ，Ｃが上記画像解析で検出することができる。

すなわち、演者Ａ，Ｂ，Ｃの行う動作を深度情報を用いることなく上記画像解析処理で検出することもできるし、ユーザＡ，Ｂ，Ｃが行う動作を上記画像解析処理で検出することができる。

・操作データとしては、加速度データ、角度データ、角速度データのすべてではなく、動きデータとしての少なくとも加速度データだけでもよい。加速度データにより、投げられたアイテムの飛距離等を算出することができるからである。

・スタジオ１０において、スタジオモニタ１７は省略してもよい。この場合、アイテムのオブジェクトを投げたユーザのユーザＩＤのＩＤオブジェクト７６ａ等は、プロジェクタ１６で表示するようにすればよい。

・演者Ａ，Ｂ，Ｃに対してアイテムが多くプレゼントされ過ぎた場合、スタジオモニタ１７やユーザ端末４０，６０，７０の表示面に、アイテムのオブジェクトが表示され過ぎてしまう。同様に、スタジオ１０の床面には、プロジェクタ１６によってアイテムのオブジェクトが表示され過ぎてしまう。このような場合、サーバ２０は、参加するユーザ端末の数が閾値を超えると、ランダムにユーザ端末を抽出し、抽出したユーザ端末からのアイテムのオブジェクトをスタジオモニタ１７やユーザ端末４０，６０，７０の表示面に表示する。また、サーバ２０は、抽出したユーザ端末からのアイテムのオブジェクトをプロジェクタ１６によってスタジオ１０の床面に表示する。

・ユーザＡ，Ｂ，Ｃから演者Ａ，Ｂ，Ｃへのプレゼントとしてのアイテムや演者Ａ，Ｂ，ＣからユーザＡ，Ｂ，Ｃへの返礼アイテムは、一例として、ユーザＡ，Ｂ，Ｃから演者Ａ，Ｂ，Ｃに対して、単に「送る」ものがある。また、一例として、ユーザＡ，Ｂ，Ｃから演者Ａ，Ｂ，Ｃに対して、ユーザＡ，Ｂ，Ｃが演者Ａ，Ｂ，Ｃに感謝したり祝福したり応援する気持ちを込めて「贈る」ものがある。更に、一例として、ユーザＡ，Ｂ，Ｃから演者Ａ，Ｂ，Ｃに対して、ユーザＡ，Ｂ，Ｃが購入したアイテム（所有物）を演者Ａ，Ｂ，Ｃに「与える」ものがある。更に、一例として、ユーザＡ，Ｂ，Ｃが購入したアイテム（所有権）を演者Ａ，Ｂ，Ｃに「渡す」ものがある。

・アイテムとしては、ユーザＡ，Ｂ，Ｃから演者Ａ，Ｂ，Ｃへプレゼントされるアイテムは、ユーザ端末４０，６０，７０の表示面やスタジオモニタ１７の表示面に単に表示するものであってもよい。このようなアイテムは、図５（ａ）に示すアイテム選択オブジェクト７２の中から選択することもできるし、アイテム選択オブジェクト７２とは関係なく、ユーザが自作した演者の舞台を華やかにする画像データ等のアイテムであってもよい。このような、ユーザ端末４０，６０，７０の表示面やスタジオモニタ１７の表示面に単に表示するだけのアイテムは、一例として、ユーザがアイテムを購入したときに課金される。なお、自作のアイテムの場合は無料であってもよい。

ヘッドバンドといった演者Ａ，Ｂ，Ｃが装着する装着具のアイテムやエフェクトのアイテムは、実際に演者Ａ，Ｂ，Ｃがアイテムを取得したときにも更に課金するようにしてもよい。すなわち、ユーザＡ，Ｂ，Ｃがアイテムを購入したときと演者Ａ，Ｂ，Ｃがアイテムを取得したときの２回課金を行うようにしてもよい。なお、演者Ａ，Ｂ，Ｃがアイテムを取得したときだけ課金するようにしてもよい。

・演者Ａ，Ｂ，ＣからユーザＡ，Ｂ，Ｃへの返礼として、返礼を受けたユーザのみが見られる単なる表示や演出であってもよい。この場合、一例として、演者Ａ，Ｂ，ＣからユーザＡ，Ｂ，Ｃへ返礼する動作は行わなくてもよい。そして、このような場合は、サインボール等の実物をユーザＡ，Ｂ，Ｃに対して郵送等しなくてもよい。

・アイテムとしては、ユーザＡ，Ｂ，Ｃがソフトウェアを使用して作成した画像データや動画データを含んだ簡易式プログラムであってもよい。簡易式プログラムとしては、一例として、オブジェクトの動きを含んだ演者のステージを華やかにする演出等のエフェクトのプログラムである。

１…ライブ配信システム、２…ネットワーク、１０…スタジオ、１１…再生装置、１２…スピーカ、１３…マイク、１４…ＲＧＢカメラ、１５…デプスカメラ、１６…プロジェクタ、１７…スタジオモニタ、１８…アイテム、２０…サーバ、２１…オーディオＩＦ、２２…ＲＧＢカメラＩＦ、２３…デプスカメラＩＦ、２４…プロジェクタＩＦ、２５…表示ＩＦ、２６…データベース、２７…データ記憶部、２８…ネットワークＩＦ、２９…メインメモリ、３０…制御部、４０…ユーザ端末、４１…オーディオＩＦ、４２…表示ＩＦ、４３…ネットワークＩＦ、４４…通信ＩＦ、４５…データ記憶部、４６…操作ＩＦ、４７…メインメモリ、４８…制御部、４９…表示部、５０…スマートウォッチ、５１…センサ、５２…通信ＩＦ、５３…データ記憶部、５４…メインメモリ、５５…制御部、６０…ユーザ端末、６０ａ…スマートデバイス端末、６１…オーディオＩＦ、６２…表示ＩＦ、６３…操作ＩＦ、６４…センサ、６５…ネットワークＩＦ、６６…データ記憶部、６７…メインメモリ、６８…制御部、６９…表示部、７０…ユーザ端末、７１…ライブ映像、７２…アイテム選択オブジェクト、７２ａ…オブジェクト、７２ｂ…オブジェクト、７２ｃ…オブジェクト、７２ｄ…オブジェクト、７３…演者選択オブジェクト、７３ａ…第１教示オブジェクト、７４…演者決定オブジェクト、７４ａ…第２教示オブジェクト、７５…落下オブジェクト、７６…取得オブジェクト、７６ａ…ＩＤオブジェクト、７７…返礼オブジェクト、７８…受取オブジェクト、８１…エフェクトオブジェクト、８２…箱オブジェクト。

Claims (13)

1. 被写体が存在する実空間の映像を表示装置に表示させる表示装置制御部と、
   前記実空間の三次元位置情報を取得する取得部と、
   ユーザ動作を検出する検出部と、
   前記取得部が取得した三次元位置情報と、前記検出部が検出したユーザ動作のユーザ動作情報とに基づいて、アイテムの映像を前記被写体が認識できるように前記実空間上に表示するアイテム表示制御部と
   を備えた表示制御システム。
2. 前記ユーザ動作は、ユーザのスマートデバイス端末により検出される
   請求項１に記載の表示制御システム。
3. 前記ユーザ動作は、前記ユーザが物を投げる動作である
   請求項２に記載の表示制御システム。
4. 前記ユーザ動作情報は、前記ユーザの動きデータである
   請求項３に記載の表示制御システム。
5. 前記表示装置制御部は、前記映像において、前記アイテムに対応するアイテムオブジェクトを配置すべきアイテムオブジェクト位置を算出し、前記映像と前記アイテムオブジェクトとを、前記アイテムオブジェクトが前記アイテムオブジェクト位置に表示されるように表示装置に表示させる
   請求項１ないし４のうち何れか１項に記載の表示制御システム。
6. 前記検出部が前記アイテムの範囲内に前記被写体としての演者が位置したと判定した場合、前記表示装置制御部は、前記アイテムオブジェクトを前記演者に関連付けて表示装置に表示させる
   請求項５に記載の表示制御システム。
7. 前記アイテムの範囲は、前記取得部が取得した三次元位置情報と、前記検出部が検出し
   たユーザ動作情報と、前記アイテムの種類とに基づいて決定する
   請求項６に記載の表示制御システム。
8. 前記表示装置制御部は、前記被写体としての演者がユーザに返礼アイテムをプレゼントするための動作をしたと判定した場合、前記ユーザに前記返礼アイテムを付与する
   請求項１ないし７のうち何れか１項に記載の表示制御システム。
9. 前記表示装置制御部は、前記ユーザが受取動作を行ったと判定したときは前記ユーザに前記返礼アイテムを付与し、前記ユーザが受取動作を行っていないと判定したとき前記ユーザに前記返礼アイテムを付与しない
   請求項８に記載の表示制御システム。
10. 前記表示装置制御部は、返礼に関連する表示を、前記返礼アイテムの相手となるユーザ端末の表示装置のみ表示し、それ以外のユーザのユーザ端末の表示装置には表示しない
    請求項９に記載の表示制御システム。
11. 前記アイテムは、ユーザが購入したアイテムである
    請求項１ないし１０のうち何れか１項に記載の表示制御システム。
12. 前記アイテム表示制御部は、前記アイテムの映像としてアイテムオブジェクトを表示する、
    請求項１ないし４のうち何れか１項に記載の表示制御システム。
13. 表示装置制御部によって、被写体が存在する実空間の映像を表示装置に表示させ、
    取得部によって、前記実空間の三次元位置情報を取得し、
    検出部によって、ユーザ動作を検出し、
    アイテム表示制御部によって、前記取得した三次元位置情報と、前記検出したユーザ動作のユーザ動作情報とに基づいて、アイテムの映像を前記被写体が認識できるように前記実空間上に表示する表示制御方法。

Images