WO2020027226A1

WO2020027226A1 - 表示制御システム、表示制御方法、及び、表示制御プログラム

Info

Publication number: WO2020027226A1
Application number: PCT/JP2019/030086
Authority: WO
Inventors: 幸司細見; 栗山　孝司; 祐輝勝俣; 和明出口
Original assignee: 株式会社ニコン
Priority date: 2018-07-31
Filing date: 2019-07-31
Publication date: 2020-02-06
Also published as: TW202015430A; CN112513782A; JP2020021225A

Abstract

実空間像に仮想的にアイテムを付加することを可能とした表示制御システム、表示制御方法、及び、表示制御プログラムを提供する。表示制御システムは、実空間の三次元位置情報を取得する取得部と、前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定する設定部と、前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテムのアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御部とを備える。

Description

表示制御システム、表示制御方法、及び、表示制御プログラム

　本発明は、表示制御システム、表示制御方法、及び、表示制御プログラムに関する。

　特許文献１等には、コンテンツを配信するサーバが記載されている。

特許第５５３０５５７号公報

　本発明の一態様によれば、実空間の三次元位置情報を取得する取得部と、前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定する設定部と、前記実空間に相当する実空間像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記実空間像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテムのアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御部とを備える表示制御システムが提供される。

　本発明の他の態様によれば、取得部が、実空間の三次元位置情報を取得し、設定部が、前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定し、表示制御部が、前記実空間に相当する実空間像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記実空間像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御方法が提供される。

　本発明の他の態様によれば、コンピュータに、設定部が、実空間におけるアイテムを受け入れる目標部の位置を前記実空間の三次元位置情報で特定し当該位置に前記目標部を設定し、表示制御部が、前記実空間に相当する実空間像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記実空間像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御方法を実行させる表示制御プログラムが提供される。

第１実施形態でのライブ配信システムの全体構成を示す図。スタジオが備える制御装置及び配信端末とサーバのブロック図。素性データベースを示す図。サーバとユーザ端末のブロック図。（ａ）は目標部としてコップを設定するときの処理のフローチャート、（ｂ）はコップを目標部として設定するときの配信者端末の表示画面を示す図。（ａ）は目標部をジェスチャで設定するときの処理のフローチャート、（ｂ）は目標部をジェスチャで設定するときの配信者端末の表示画面を示す図。目標部を仮想体のオブジェクトとするときの処理のフローチャート。（ａ）は目標オブジェクトを選択するときの配信者端末の表示画面を示す図、（ｂ）は目標オブジェクトにバケツを選択した状態の配信者端末の表示画面を示す図、（ｃ）は目標オブジェクトとしてのバケツを配信者が手に持った状態の配信者端末の表示画面を示す図。（ａ）はライブ配信処理のフローチャート、（ｂ）は特別期間を開始するときのユーザ端末の表示画面を示す図。（ａ）はプレゼント処理のフローチャート、（ｂ）は選択可能なアイテムを一覧表示するアイテム選択オブジェクトが表示されたユーザ端末の表示画面を示す図、（ｃ）は選択されたアイテムが表示されたユーザ端末の表示画面を示す図。（ａ）はユーザがユーザ端末の表示面をスワイプ操作している状態を示す図、（ｂ）はアイテムオブジェクトが目標オブジェクトに向けて飛翔している状態が表示されたユーザ端末及び配信者端末の表示画面を示す図、（ｃ）はアイテムオブジェクトが目標オブジェクトに届いた状態が表示されたユーザ端末及び配信者端末の表示画面を示す図。（ａ）はアイテムオブジェクト表示処理を示すフローチャート、（ｂ）は配信者が席を離れた状態が表示されたユーザ端末及び配信者端末の表示画面を示す図、（ｃ）はアイテムオブジェクト及び目標オブジェクトがフレームアウトした状態が表示されたユーザ端末及び配信者端末の表示画面を示す図。（ａ）は図１２（ａ）の続きであり、アイテムが目標部からこぼれるときの処理を示すフローチャート、（ｂ）は複数のアイテムが掌で構成した器に保持された状態が表示されたユーザ端末及び配信者端末の表示画面を示す図、（ｃ）はアイテムが掌で構成した器からこぼれる状態が表示されたユーザ端末及び配信者端末の表示画面を示す図。（ａ）は図１３（ｃ）の続きであり、机の上をアイテムが転がる状態が表示されたユーザ端末及び配信者端末の表示画面を示す図、（ｂ）はアイテムが机から落ちた状態が表示されたユーザ端末及び配信者端末の表示画面を示す図、（ｃ）はアイテムが床を転がる状態が表示されたユーザ端末及び配信者端末の表示画面を示す図、（ｄ）はアイテムが床で静止した状態が表示されたユーザ端末及び配信者端末の表示画面を示す図。（ａ）はアイテムが目標部に入らなかった場合の処理を示すフローチャート、（ｂ）はアイテムが目標部を外れた状態が表示されたユーザ端末及び配信者端末の表示画面を示す図。第２実施形態での表示制御システムを示す図。第２実施形態におけるヘッドマウントディスプレイのブロック図。

　以下、図１～図１７を用いて、本発明が適用されたライブ配信システムを図面を参照して説明する。
　〔第１実施形態〕
　〔ライブ配信システムの概要〕
　図１に示すように、ライブ配信システム１は、配信者Ｘが配信映像を撮像するスタジオ１０と、スタジオ１０で取得された配信映像をライブストリーミングで配信するサーバ４０と、サーバ４０で配信された配信映像を視聴するユーザＡ，Ｂ，Ｃのユーザ端末５０，７０，８０とを備えている。サーバ４０とユーザ端末５０，７０，８０とは、ネットワーク２を介して接続されている。なお、ユーザ端末の数は、ここで示す３台に限定されるものではなく、１台であっても、数十台でも数百台であってもよい。

　スタジオ１０内の実空間では、一例として、被写体としての配信者Ｘを撮影をしている。この撮影は、カメラマン等の第三者によって撮影されてもよいし、自撮りであってもよい。スタジオ１０で撮影する配信者Ｘの人数は、ここでは１人であるが、複数人であってもよい。また、配信者Ｘは、有名人や公人でない一般人、芸能人（アイドル、タレント、芸人、モデル、声優、ミュージシャン、スポーツ選手等）、芸能人を目指すアマチュア、プロ又はアマチュアのバンド等のグループ、当該グループの構成員等である。一例として、配信者Ｘは、パフォーマンスをする実演者であり、実際にスタジオ１０に存在する人物である。また、配信者Ｘは、実空間像の中で自分の分身となるキャラクタ、すなわちアバターで表示されてもよい。配信者Ｘは、ユーザＡ，Ｂ，Ｃから提供されたアイテムを受け取る受け手である。また、被写体は、配信者Ｘに代えて公共施設であってもよい。公共施設としては、一例として、神社寺院等の祭祀施設、銅像石像（人物像、動物像、仏像等）等の記念碑等である。また、被写体が配信者Ｘの場合に用いるスタジオ１０としては、一例として、撮影スタジオやカラオケルームであってもよいし、配信者Ｘの自宅部屋等であってもよい。また、陸上競技、サッカー、野球などのスタジアムなどの屋外であってもよいし、体育館やコンサートホールなどの屋内施設であってもよい。また、スタジオ１０は、コンサート会場やイベント会場であってもよく、この場合、配信者Ｘは、一例として、ステージで実演している芸能人である。また、配信者Ｘの居るスタジオ１０は、ユーザＡ，Ｂ，Ｃが実際に居る場所と離れた場所である。また、一例として、配信者Ｘの代わりとなる被写体が祭祀施設や記念碑等である場合において、これらの施設の前にさい銭箱や募金箱の目標部を設定したときには、ユーザＡ，Ｂ，Ｃは、自分の居る場所と遠く離れた祭祀施設や記念碑等に対して仮想的にさい銭を投げることができる。

　スタジオ１０には、マイク１１と、ＲＧＢカメラ１２と、デプスカメラ１３と、スタジオモニタ１４と、スピーカ１５と、ハプティクスデバイス１６と、制御装置１７と、スマートデバイス等の配信者端末１８とを備えている。また、配信者Ｘは、机６の上の照明９によって照射されている。

　マイク１１は、配信者Ｘの会話や環境音等を集音する。マイク１１は、配信者Ｘのカラオケデータに合わせた歌声等を集音する。ＲＧＢカメラ１２は、スタジオ１０に配置され、スタジオ１０における実空間を撮像する第１カメラである。ＲＧＢカメラ１２は、一例として、動画撮影機能を有するデジタルカメラであり、また、一例として、ビデオカメラである。ＲＧＢカメラ１２は、ＣＣＤやＣＭＯＳ等の撮像素子を備え、可視光等の光を検出し、３色（赤、緑、青）のカラー信号で構成された表示データを出力する。一例として、ＲＧＢカメラ１２は、スタジオ１０や配信者Ｘを撮像する。ＲＧＢカメラ１２で撮像された実空間像としての映像は、サーバ４０を通じて、配信者端末１８やスタジオモニタ１４やユーザ端末５０，７０，８０等の表示面に観賞用データとして表示される。また、一例として、ＲＧＢカメラ１２で撮像された映像は、配信者Ｘの確認用表示データとして、配信者端末１８やスタジオモニタ１４に表示される。ＲＧＢカメラ１２は、スタジオ１０内に１台であってもよいし、複数台備えていてもよい。複数台のＲＧＢカメラ１２を使用する場合、撮像方向が一台一台異なるように複数の箇所に設置する。これにより、スタジオ１０をくまなく、例えば机の下部や椅子の下部等も撮像できる。この場合、複数のＲＧＢカメラ１２は、１つのＲＧＢカメラ１２の撮像範囲の外周部とこの撮像範囲に対して隣接する撮像範囲の外周部とが重なるように、すなわち撮像範囲の間に隙間ができないように設置される。

　一例として、デプスカメラ１３は、ライブ配信システム１において、三次元位置情報を取得するための第２カメラである。一例として、デプスカメラ１３は、赤外線カメラである。赤外線カメラは、赤外線を投光する投光部と、赤外線を検出する赤外線検出部とを備えている。デプスカメラ１３は、投光部から投光した赤外線パルスが反射して戻ってくるまでの時間から実空間における深度情報等の三次元位置情報を取得する。デプスカメラ１３は、自身から被写体までの距離である深度情報等を取得するものであり、一例として、配信者Ｘとの距離である深度情報等を取得する取得部である。また、配信者Ｘの位置やユーザがアイテムを投げる際の目標部の位置は、一例として、デプスカメラ１３の検出部を原点とする三次元座標系等で特定することができる。なお、ＲＧＢカメラ１２とデプスカメラ１３は、一体の装置であってもよいし、別体の装置であってもよい。デプスカメラ１３は、スタジオ１０内に１台であってもよいし、複数台備えていてもよい。複数台のデプスカメラ１３を使用する場合、撮像方向が一台一台異なる方向となるように複数の箇所に設置することによって、スタジオ１０の三次元座標をくまなく検出することができる。一例として、机６の下部や椅子の下部等の三次元位置情報等も取得することができる。この場合、複数のデプスカメラ１３は、１つのデプスカメラ１３の検出範囲の外周部とこの検出範囲に対して隣接する検出範囲の外周部とが重なるように、すなわち検出範囲の間に隙間ができないように設置される。

　スタジオモニタ１４は、実空間であるスタジオ１０に配置され、映像が表示される表示装置であり、一例として、主に配信者Ｘが視認可能なようにスタジオ１０の壁や机等に設置される表示装置である。スタジオモニタ１４は、一例としてスマートデバイスに対して大型である。また、スタジオモニタ１４は、一例としてフラットディスプレイであり、ＣＲＴ、ＬＣＤ、有機ＥＬ表示装置である。そして、スタジオモニタ１４は、一例として、配信前の準備のときに、ＲＧＢカメラ１２が撮像したライブ映像（後述のアイテムオブジェクト３や目標オブジェクト５が含まれていない。）が表示される。また、スタジオモニタ１４は、一例として、サーバ４０を通じて配信されるライブ配信映像（後述のアイテムオブジェクト３や目標オブジェクト５が含まれている。）が表示される。スピーカ１５は、マイク１１で集音した配信者Ｘの音声データや制御装置１７で再生された楽曲データ等を放音する。また、スピーカ１５は、ユーザ端末５０，７０，８０から送信されたユーザＡ，Ｂ，Ｃの声を含む音声データを放音する。これにより、配信者Ｘは、ユーザＡ，Ｂ，Ｃの反応を聞くことができる。

　ハプティクスデバイス１６は、配信者Ｘに装着され配信者Ｘに対して機械的刺激により皮膚感覚フィードバックを付与する機器である。ハプティクスデバイス１６は、一例として、偏心モータアクチュエータ、リニア共振アクチュエータ、ピエゾアクチュエータ等を駆動して物理的な振動を生成して、振動を通じて、装着者である配信者Ｘに対して力覚、触覚、及び、押覚の中の少なくとも１つの感覚をフィードバックする。一例として、ハプティクスデバイス１６は、皮膚に対する電気的な刺激のパターンを通じて、配信者Ｘに対して力覚、触覚、及び、押覚の中の少なくとも１つの感覚をフィードバックする。

　さらに、ハプティクスデバイス１６に加えて嗅覚をフィードバックする嗅覚フィードバックデバイスを備えていてもよい。一例として、嗅覚をフィードバックするデバイスは、ヘッドマウントディスプレイやスマートグラス等のヘッドセットに香水や香りの元となるシート等を収容した１つ又は複数個のカートリッジを装着し、噴霧口から鼻の下に向けて微量の香りが噴出されるように構成することができる。

　制御装置１７は、マイク１１、ＲＧＢカメラ１２、デプスカメラ１３、スタジオモニタ１４、スピーカ１５、ハプティクスデバイス１６等の各種機器と接続されデータが入出力されるとともに、サーバ４０と通信を行う通信装置である。また、制御装置１７は、ＣＤ、ＤＶＤ、ＢＤ、半導体メモリ等の記録媒体の再生装置であり、これら記録媒体に記録された楽曲データや映像データ等を再生する。さらに、制御装置１７は、ネットワークを通じて配信されている楽曲データや映像データ等を再生する。一例として、制御装置１７は、カラオケデータ（伴奏データ）を再生する。制御装置１７は、マイク１１からの音声データ、ＲＧＢカメラ１２からの映像データ等をミキシングしてライブ映像を生成するとともに、デプスカメラ１３からの三次元位置情報をサーバ４０に送信する。一例として、制御装置１７は、配信用のライブ映像を所定の動画圧縮方式でエンコードし、サーバ４０に送信する。また、制御装置１７は、サーバ４０から送信されたライブ配信映像４を受信しデコードする。

　配信者端末１８は、一例としてスマートデバイスであり、片手で把持できる程度の大きさを有し、タッチパネルを備えた表示部、マイク、スピーカ、撮像部、通信部、不揮発性メモリ等の記憶部等を備えている。ここでは、一例として、スタジオモニタ１４と同じ映像が表示される。一例として、配信者端末１８は、サーバ４０から配信されたライブ配信映像４が表示される。

　このような構成を備えた配信者端末１８は、上述した制御装置１７、マイク１１、ＲＧＢカメラ１２、スタジオモニタ１４及びスピーカ１５の中から選ばれる少なくとも１つの機能を代用させることができる。更に、配信者端末１８は、デプスカメラも備えているときには、デプスカメラ１３の機能を代用させることができる。このように、スタジオ１０が備える機器の機能を配信者端末１８で代用することで、専用のスタジオ１０で配信者Ｘが撮像しなくても、カラオケスタジオや自宅や屋外等で手軽に配信用のライブ映像を撮像することができる。配信者端末１８をＲＧＢカメラ１２として用いる場合は、配信者端末１８を三脚等に固定することによって手振れを防ぎながらライブ映像を撮像することができる。このような場合、配信者端末１８は、制御装置１７を介することなくサーバ４０とデータのやり取りをすることができる。

　サーバ４０は、ライブ配信システム１を管理する装置であり、ライブ配信を管理するとともに、ライブ配信を行う配信者Ｘやライブ配信映像４を視聴するユーザを管理する。また、ユーザが配信者Ｘに対して提供するアイテムを管理する。一例として、サーバ４０は、ライブ配信映像４を、ユーザ端末５０，７０，８０に対して配信する。一例として、サーバ４０は、ＲＧＢカメラ１２が撮像したライブ映像に対して、ユーザが配信者Ｘに対して提供するアイテムに対応するアイテムオブジェクト３を付加してライブ配信映像４を生成し、ユーザ端末５０，７０，８０に配信する。また、一例として、ライブ映像に対して、ユーザが配信者Ｘに対してアイテムを提供する際の目標部を設定する。図１での目標部は、配信者Ｘの一部である掌で構成された器が目標オブジェクト５となるが、配信者Ｘ自身が目標オブジェクト５となってもよい。また、配信者Ｘの頭部は目標オブジェクト５として設定されていてもよい。また、目標オブジェクト５は、配信者Ｘが手に持ったバケツ、コップ、ごみ箱、装飾箱等であってもよいし、配信者Ｘの前の机６の上に置かれたさい銭箱等であってもよい。目標部がスタジオ１０に存在する実物体である場合には、目標部は、その実物体の画像が目標オブジェクト５である。更に、目標部がスタジオ１０に実在しない仮想体である場合、目標部は、仮想体を示す画像が目標オブジェクト５である。目標部の目標位置、すなわち目標オブジェクト５が表示される表示位置は、デプスカメラ１３で検出された深度情報に基づく三次元位置情報で特定される。目標位置は、一例として、デプスカメラ１３の検出部を原点とする三次元座標系等で特定される。一例として、目標部は、アイテムを入れる入れ物であることから、目標位置もこれに合わせて、アイテムを収容するための体積又は容積を有した立体的な空間部つぃて定義される。一例として、サーバ４０は、ＲＧＢカメラ１２が撮像したライブ映像に対して、目標オブジェクト５を付加してライブ配信映像４を生成し、ユーザ端末５０，７０，８０に配信する。また、一例として、サーバ４０は、アイテムオブジェクト３が目標オブジェクト５に投げ込まれるようなライブ配信映像４を生成する。

　ライブ配信システム１に参加するユーザＡ，Ｂ，Ｃは、一例として、配信者Ｘに対して興味を持った者、配信者Ｘに対するファン等の支援者であり、スタジオ１０とは離れた場所に居り、ユーザ端末５０，７０，８０を用いてライブ配信映像４を視聴することができる。ユーザＡ，Ｂ，Ｃは、配信者Ｘに対してアイテムを投げる者（アイテム提供者、プレゼントする者）である。ユーザＡのユーザ端末５０は、一例として、デスクトップ型又はラップトップ型のパーソナルコンピュータ５０ａと、パーソナルコンピュータ５０ａと接続されたウェアラブル端末やスマートデバイス端末としてのスマートウォッチ６０とを備えている。パーソナルコンピュータ５０ａがデスクトップ型である場合、ユーザ端末５０は、デスクトップ型のモニタを備えたパーソナルコンピュータ５０ａと、パーソナルコンピュータ５０ａと接続されたスマートウォッチ６０とを備えている。また、パーソナルコンピュータ５０ａがラップトップ型である場合、ユーザ端末５０は、表示部を備えたラップトップ型のパーソナルコンピュータ５０ａと、ラップトップ型のパーソナルコンピュータ５０ａと接続されたスマートウォッチ６０とを備えている。一例として、ユーザ端末５０のユーザＡは、スマートウォッチ６０を利き腕等に装着しており、スマートウォッチ６０は、パーソナルコンピュータ５０ａと有線又は無線で接続されている。スマートウォッチ６０は、加速度センサやジャイロセンサ等の検出部を備えており、一例としてユーザＡが物を投げる動作をしたとき、ユーザ動作情報として、その加速度や角度（姿勢）や角速度を検出する。

　なお、パーソナルコンピュータ５０ａは、ヘッドマウントディスプレイ（ＨＭＤ）が有線又は無線で接続されていてもよい。ＨＭＤは、パーソナルコンピュータ５０ａとしての構成を備えていてもよい。ＨＭＤとしては、光学シースルー型ヘッドマウントディスプレイ、ビデオシースルー型ヘッドマウントディスプレイ、非透過型ヘッドマウントディスプレイ等が挙げられる。光学シースルー型ヘッドマウントディスプレイの場合はＡＲ（拡張現実）による表示を行うことができる。ビデオシースルー型ヘッドマウントディスプレイや非透過型ヘッドマウントディスプレイの場合はＶＲ（仮想現実）による表示を行うことができる。パーソナルコンピュータ５０ａは、コンピュータと接続されたスマートグラス等のような眼鏡型情報処理端末であってもよい。

　また、ユーザＢのユーザ端末７０は、一例として、スマートフォンやタブレット等のスマートデバイス端末であり、携帯可能な小型の情報処理端末である。スマートフォンは、一例として、表示面にタッチパネルを備えている。また、ユーザ端末７０は、加速度センサやジャイロセンサ等の検出部を備えている。ユーザ端末７０は、一例として、ユーザＢが物を投げる動作をしたとき、ユーザ動作情報として、その加速度や角度や角速度を検出し、サーバ４０に送信する。また、ユーザＢが物を投げる動作を行う代わりに、ライブ配信映像４が表示されている表示面を指やスタイラスペンを用いて表示されている目標オブジェクト５の方向へなぞるスワイプ操作が行われたとき、ユーザ端末７０は、その座標データ等の操作データをサーバ４０に送信する。ユーザ端末７０は、携帯可能な小型の情報処理端末であることから、ユーザ端末７０のユーザＢは、どこでも配信者Ｘのライブ配信映像４を視聴することができる。

　ユーザＣのユーザ端末８０は、スマートデバイス端末７０ａとスマートウォッチ６０とを備えている。この場合、スマートデバイス端末７０ａがユーザＡのラップトップ型のパーソナルコンピュータ５０ａのような機能を担う。これにより、ユーザＣがスマートウォッチ６０を装着した利き腕で物を投げる動作をしているときにも、もう一方の手に持ったスマートデバイス端末７０ａの表示部に表示された映像を視認することができる。また、スマートデバイス端末７０ａを机等に置いたり三脚に固定した状態で、物を投げる動作を行うことができる。これにより、スマートデバイス端末７０ａの表示部に表示された映像を見ながらスマートウォッチ６０を装着した利き腕で投げ動作等をすることができる。ユーザ端末８０は、スマートウォッチ６０を使用することなく、表示面を目標オブジェクト５の方向へなぞるスワイプ操作によって、ユーザ動作情報をサーバ４０に送信することもできる。

　ユーザ端末５０，７０，８０では、ライブ配信映像４を視聴しながら、そのとき実際に映し出されている配信者Ｘに対して、アイテムをプレゼントすることができる。一例として、ユーザ端末５０，７０，８０の表示面には、ライブ配信映像４とともに、配信者Ｘに対してプレゼントすることが可能なアイテムの一覧オブジェクトが表示され、ユーザＡ，Ｂ，Ｃは、一覧オブジェクトの中のアイテムから１つのアイテムが選択することができる。そして、ユーザ端末５０，７０，８０の表示面には、選択されたアイテムオブジェクト３が表示される。アイテムとしては、図１では宝石であるが、花束、ヘッドバンド等の装飾具、コイン等であってもよいし、ユーザ端末５０，７０，８０で視聴する際、配信者Ｘの動作を演出するエフェクト、配信者Ｘが居る場所の背景画像等であってもよい。

　この後、ユーザ端末５０のユーザＡは、スマートウォッチ６０を装着した状態で腕を振って目標オブジェクト５をめがけて物を投げる動作をする。ユーザ端末７０のユーザＢは、ユーザ端末７０を持った状態で腕を振って目標オブジェクト５をめがけて物を投げる動作をする。ユーザ端末８０のユーザＣは、スマートウォッチ６０を装着した状態で腕を振って目標オブジェクト５をめがけて物を投げる動作をする。すると、ユーザ端末５０，７０，８０は、検出結果であるユーザ動作情報としての加速度データ、角度（姿勢）データ、角速度データ等の操作データをサーバ４０に送信する。また、ユーザ端末７０，８０では、ライブ配信映像４が表示されている表示面を指やスタイラスペンを用いて、表示されている目標オブジェクト５をめがけてなぞるスワイプ操作を行い、ユーザ動作情報として、その座標データ等の操作データをサーバ４０に送信する。

　サーバ４０は、ユーザ端末５０，７０，８０から送信されたアイテムのアイテムオブジェクト３をライブ映像に対して付加し、その状態をユーザ端末５０，７０，８０ならびにスタジオモニタ１４及び配信者端末１８で視認できるようにする。アイテムオブジェクト３の表示位置（アイテム位置）は、ユーザ端末５０，７０，８０から送信されたユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データに基づいてサーバ４０で算出される。なお、ユーザ端末５０，７０，８０から送信されたユーザ動作情報としての加速度データ、角度データ、角速度データ等は、少なくとも加速度データを備えていればよい。加速度データにより、投げられたアイテムの飛距離等を算出することができるからである。また、アイテムオブジェクト３の表示位置（アイテム位置）は、ライブ配信映像４が表示されている表示面を目標オブジェクト５の方向へなぞるスワイプ操作が行われたとき、その座標データ等に基づいてサーバ４０で算出される。

　一例として、ユーザＡ，Ｂ，Ｃがアイテムを弱く投げるような動作や操作をした場合、アイテムオブジェクト３が表示されるアイテム位置は、目標部や配信者Ｘの前方で遠く離れた位置となる。ユーザＡ，Ｂ，Ｃがアイテムをこれよりも強く投げるような動作や操作をした場合、アイテムオブジェクト３が表示されるアイテム位置は、目標部や配信者Ｘの前方で比較的近い位置となる。更に、アイテムがユーザＡ，Ｂ，Ｃによって強く投げられ過ぎた場合、アイテムオブジェクト３が表示されるアイテム位置は、アイテムが目標部や配信者Ｘの後方にある壁で跳ね返った後、目標部や配信者Ｘに対して前方や後方の位置となる。更に、ユーザＡ，Ｂ，Ｃが配信者Ｘや目標部に対して右側又は左側にアイテムを投げる動作や操作をした場合、アイテムオブジェクト３が表示されるアイテム位置は、ユーザＡ，Ｂ，Ｃがアイテムを投げた方向に対応して、目標部や配信者Ｘに対して右側又は左側の位置となる。なお、ユーザＡ，Ｂ，Ｃが行う投げる動作を検出する場合、予め正面方向を設定しておき、設定した正面方向に対して、右側又は左側を検出するようにすることが好ましい。特にユーザＢがスマートフォンとしてのユーザ端末７０を用いる場合は、端末が固定されていないので、予め正面方向を特定する設定処理を行うことが好ましい。配信者Ｘは、これらの様子が、配信者端末１８やスタジオモニタ１４に表示されることで、実際にはスタジオ１０にはいないユーザＡ，Ｂ，Ｃから自分の方向にアイテムを投げられたことを視認することができる。また、配信者Ｘや目標部に対してアイテムが投げられた様子は、ユーザ端末５０，７０，８０にもライブ配信映像４の中で表示される。これにより、ユーザＡ，Ｂ，Ｃは、配信者Ｘや目標部の方向に正しくアイテムが投げられたかを確認することができる。

　なお、同じライブ配信映像４を視聴している複数のユーザＡ，Ｂ，Ｃが配信者Ｘに対してアイテムを投げたときには、他人の投げたアイテムも表示される。これにより、ユーザ間で配信者Ｘに対して投げるアイテムの数を競わせることができる。

　サーバ４０は、目標オブジェクト５の目標位置に対してアイテムオブジェクト３の位置が重なると、アイテムオブジェクト３が目標オブジェクト５に入った状態をライブ配信映像４の中に表示する。また、一例として、サーバ４０は、目標部が配信者Ｘが実際に持つ実物体のバケツ、コップ、ごみ箱、装飾箱等である場合、配信者Ｘが手や腕を動かすと、その動きに合わせて目標位置も変化させる。実物体のバケツ、コップ、ごみ箱、装飾箱等を机６に置いて、手や腕だけを動かした場合は、目標部は、机６の上のバケツ、コップ、ごみ箱、装飾箱等となる。更に、一例として、目標部が仮想体の場合において、サーバ４０は、仮想的なオブジェクトが表示されるべき位置を目標位置に設定し、ライブ配信映像４の中の当該目標位置に目標オブジェクト５を表示する。そして、配信者Ｘが仮想物を手に持ったように設定されている場合、配信者Ｘの手や腕の動きに合わせて、アイテムオブジェクト３を移動させる。サーバ４０は、目標部である入れ物を配信者Ｘが持っている場合等には、ハプティクスデバイス１６を駆動し、ハプティクスデバイス１６を装着している配信者Ｘがアイテムの重さを感じられるようにする。すなわち、サーバ４０は、入れ物にアイテムが１個入った場合よりアイテムが２個入った場合の方が配信者Ｘが重く感じられるようにハプティクスデバイス１６を駆動する。また、サーバ４０は、入れ物の中でアイテムが転がるときは、アイテムが転がるときの振動が配信者Ｘに伝わるようにハプティクスデバイス１６を駆動する。

　スタジオ１０のデプスカメラ１３は、一例として、常時、スタジオ１０における各所の深度情報等の三次元位置情報を算出している。デプスカメラ１３は、一例として、配信者Ｘの人物領域を抽出し、人物領域と非人物領域とに区分する。デプスカメラ１３は、一例として、配信者Ｘの各々の２５カ所の骨格位置を骨格データとして取得し、更に、各骨格位置の深度情報を算出している。骨格位置としては、一例として左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等の骨格位置が含まれている。なお、取得する骨格位置の数は、２５カ所に限定されるものではない。また、デプスカメラ１３は、スタジオ１０における壁や机や床面等との距離を算出している。更に、デプスカメラ１３は、目標部（実物体のコップやバケツや配信者Ｘが掌で構成した器等）との距離を算出している。ここで、深度情報は、一例としてデプスカメラ１３の前方の対物レンズ又はセンサ面から測定対象位置（スタジオ１０の壁の各所や床の各所）との距離である。また、深度情報は、一例としてデプスカメラ１３の前方の対物レンズ又はセンサ面から被写体となる配信者Ｘの骨格位置までの距離である。

　さらに一例として、深度情報は、デプスカメラ１３の前方の対物レンズ又はセンサ面から目標部となるコップ等の実物体までの距離である。さらに一例として、深度情報は、デプスカメラ１３の前方の対物レンズ又はセンサ面から目標部となる配信者Ｘの掌までの距離である。さらに、深度情報は、目標部に存在する複数の点までの距離である。このように、デプスカメラ１３は、細かく目標部の各点までの距離を測定することで、目標部となるコップや掌等の実物体の形状や向きやアイテムの入る開口を特定できるようにする。そして、目標部の点の数は、多いほど、目標部の形状や向きやアイテムの入る開口等をより正確に特定することができる。

　アイテムが表示されているアイテム位置が目標オブジェクト５が表示されている目標位置に所定の比率で重なったとき、サーバ４０は、目標部にアイテムが入ったと判断する。ここでの所定の比率は、大きくなるほどアイテムが目標部に入り易くなり、小さいほどアイテムが目標部に入りにくくなる。サーバ４０は、目標部の入れ物の素性（大きさ、形状、表面粗さ等）及びアイテムの素性（大きさ、形状、表面粗さ等）に応じて、アイテムが入れ物に入ったときの状態をライブ配信映像４の中に表示する。なお、目標部が実空間に存在する実物体である場合、目標部の素性は、実空間に存在する目標部となる入れ物の素性に従う。このときの目標部の素性は、一例として、事前にセンサで測定した測定値である。目標部からアイテムが外れた場合は、アイテムが目標部が置かれた机６や壁で跳ね、机６や床を転がる。サーバ４０は、アイテムと接触する場所（机６や壁や床）の素性に合わせてアイテムオブジェクト３が転がったり跳ねる状態をライブ配信映像４の中に表示する。更に、アイテムが入れ物から溢れたりこぼれたりした場合、アイテムと接触する場所（机６や壁や床）の素性に合わせてアイテムオブジェクト３が転がったり跳ねる状態をライブ配信映像４の中に表示する。一例として、硬く平坦なフローリング床にボールが転がったときには、ボールは遠くまで転がり、じゅうたん等の表面が粗い床にボールが転がったときには、ボールはあまり転がらないようにライブ配信映像４に表示する。

　アイテムが入れ物に入らなかった場合やアイテムが入れ物から溢れたりこぼれたりした場合は、例えばスタジオ１０において机６の前に座っている配信者Ｘを撮像しているＲＧＢカメラ１２の画角（撮像範囲）からアイテムが外れることが多い。また、このようなアイテムを配信者Ｘが拾いに行こうとすると、このような場合にも、机６の前に座っている配信者Ｘを撮像しているＲＧＢカメラ１２の画角（撮像範囲）から配信者Ｘや入れ物が外れることがある。デプスカメラ１３が複数台を使う等して、スタジオ１０の全体の三次元位置情報を有している場合、サーバ４０は、ユーザ端末５０，７０，８０で検出された検出結果としての加速度データ、角度データ、角速度データ等やスワイプ操作による座標データ等の操作データに基づいて決まる三次元位置情報でアイテム位置を保持している。したがって、一例として、配信者ＸがＲＧＢカメラ１２をアイテムの転がった先を撮像するように移動させた場合には、転がったアイテムオブジェクト３がライブ配信映像４の中に付加されることになる。また、ＲＧＢカメラ１２を移動させなかった場合、一度配信者Ｘや入れ物がＲＧＢカメラ１２の画角から外れても再度画角に入ったときには、その時点から目標オブジェクト５やアイテムオブジェクト３がライブ配信映像４の中に表示されることになる。また、アイテムが入れ物から溢れたりこぼれたりした場合は、その分、目標部である入れ物が軽くなる。サーバ４０は、入れ物からアイテムが減った分、入れ物が軽くなるようにハプティクスデバイス１６を駆動する。

　なお、デプスカメラ１３の検出範囲からアイテムや入れ物が外れることもある。この場合、サーバ４０は、検出範囲を外れる直前の目標部の目標位置やアイテム位置を保持し、デプスカメラ１３の検出範囲に復帰したとき、復帰位置に目標位置やアイテム位置を更新する。また、サーバ４０は、デプスカメラ１３の検出範囲に復帰したときの入れ物やアイテムの状態に合わせてハプティクスデバイス１６を駆動する。

　〔デプスカメラ１３〕
　デプスカメラ１３は、一例として、パルス変調された赤外線を投光するプロジェクタ等の投光部と赤外線カメラ等の赤外線検出部とを備えており、投光した赤外線パルスが反射して戻ってくるまでの時間から深度情報を算出する（Time of Flight(TOF）方式）。デプスカメラ１３は、一例として、常時、スタジオ１０における各所の深度情報等の三次元位置情報を算出している。

　また、デプスカメラ１３は、配信者Ｘの人物領域を抽出し、人物領域と非人物領域とに区分する。一例として、同じ場所（一例としてスタジオ１０）において、人物が映る前後における差分値に基づいて人物領域を算出する。また、一例として、検出する赤外線量が閾値を超える領域を人物領域と判定する。

　更に、デプスカメラ１３は、骨格位置を検出する。デプスカメラ１３は、人物領域における各所の深度情報を取得し、深度と形状の特徴量に基づいて、人物領域に写る人物の実空間上の部位（左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等）を算出し、各部位における中心位置を骨格位置として算出する。デプスカメラ１３は、記憶部に記憶された特徴量辞書を用いて、人物領域から決定される特徴量を、当該特徴量辞書に登録されている各部位の特徴量と照合することにより、人物領域における各部位を算出する。また、デプスカメラ１３は、人物の凹凸（掌の形状、衣服の皺等の凹凸、髪型の凹凸等）を検出する。

　なお、デプスカメラ１３が赤外線検出部での検出結果を他の装置（制御装置１７、サーバ４０、ユーザ端末５０，７０，８０、スタジオ１０に設置された制御装置１７等）に出力し、他の装置が深度情報を算出、人物領域を抽出、人物領域と非人物領域とに区分、人物領域の検出、骨格位置の検出、人物領域における各部位を特定等の処理を行うようにしてもよい。

　また、以上のようなモーションキャプチャ処理は、配信者Ｘに対してマーカを付けることなく行うものであるが、配信者Ｘにマーカを付けて行うようにしてもよい。
　更に、深度情報を算出するにあたっては、投光した赤外線パターンを読み取り、パターンのゆがみから深度情報を得る方式であってもよい（Light Coding方式）。

　更にまた、深度情報は、二眼カメラ、複数台カメラによる視差情報から算出するようにしてもよい。更に、深度情報は、ＲＧＢカメラ１２で取得した映像を画像認識し、写真測量技術等を用いて画像解析することで算出することもできる。この場合、ＲＧＢカメラ１２が検出部として機能することからデプスカメラ１３は不要となる。

　更に、深度情報は、以上のような方式の併用によって算出するようにしてもよい。
　〔制御装置１７〕
　図２に示すように、スタジオ１０の各機器を制御する制御装置１７は、スタジオ１０の各部とのインタフェース（以下、単に「ＩＦ」という。）を備えており、ＲＧＢカメラＩＦ２１と、デプスカメラＩＦ２２と、ハプティクスデバイスＩＦ２３と、オーディオＩＦ２４と、表示ＩＦ２５と、ネットワークＩＦ２６と、通信ＩＦ２７と、制御部２８とを備えている。

　ＲＧＢカメラＩＦ２１は、ＲＧＢカメラ１２を制御するとともに、ＲＧＢカメラ１２が撮像した映像が入力される。デプスカメラＩＦ２２は、デプスカメラ１３を制御し、デプスカメラ１３からの三次元位置情報が入力される。ハプティクスデバイスＩＦ２３は、ハプティクスデバイス１６を制御する。すなわち、ハプティクスデバイス１６は、アクチュエータ１６ａを備えており、ハプティクスデバイスＩＦ２３は、アクチュエータ１６ａを駆動する。オーディオＩＦ２４は、スピーカ１５のほか、イヤホン、ヘッドフォン等の音声出力機器と接続することもできる。また、オーディオＩＦ２４は、マイク１１等の音声入力機器と接続されている。表示ＩＦ２５は、一例として、スタジオモニタ１４と接続されている。ネットワークＩＦ２６は、一例として、ネットワーク２を介して有線又は無線でサーバ４０と通信する。通信ＩＦ２７は、一例として、配信者端末１８と有線又は無線で通信する。

　制御部２８は、一例として、ＣＰＵ、ＲＯＭ、ＲＡＭであり、ＲＧＢカメラ１２が撮像した映像やマイク１１で集音した音声データをミキシングしたライブ映像（アイテムオブジェクト３や目標オブジェクト５が含まれていない）や三次元位置情報等をネットワークＩＦ２６を通じてサーバ４０に送信する。また、制御部２８は、ライブ映像を表示ＩＦ２５を通じてスタジオモニタ１４に表示したり、通信ＩＦ２７を通じて配信者端末１８の表示部に表示する。更に、制御部２８は、ネットワークＩＦ２６を通じてサーバ４０から配信されたライブ配信映像４（アイテムオブジェクト３や目標オブジェクト５が含まれている）を受信し、表示ＩＦ２５を通じてスタジオモニタ１４に表示する。また、制御部２８は、通信ＩＦ２７を通じて配信者端末１８の表示部に表示する。

　〔配信者端末１８〕
　配信者端末１８は、配信者Ｘが管理する装置であり、スマートフォンやタブレット等のスマートデバイス端末である。配信者端末１８は、表示部３１と、スピーカ３２と、操作部３３と、ネットワークＩＦ３４と、データ記憶部３５と、メインメモリ３６と、制御部３７とを備えている。表示部３１は、液晶表示パネルや有機ＥＬパネルであり、操作部３３は、表示部３１に設けられたタッチパネルである。ネットワークＩＦ３４は、制御装置１７とデータのやり取りを行う。データ記憶部３５は、不揮発性メモリであり、ライブ配信映像４を視聴するためのプログラム等を記憶している。メインメモリ３６は、一例として、ＲＡＭであり、配信中のライブ配信映像４や制御プログラム等を一時的に記憶する。制御部３７は、一例として、ＣＰＵであり、配信者端末１８の全体の動作を制御する。一例として、制御部３７は、ライブ配信の準備のとき、ライブ映像の中で目標部を指定するデータや目標部のオブジェクトの一覧の中から１つ又は複数の選択データをサーバ４０に対して送信する。また、ライブ配信映像４を再生しているとき、制御部３７は、サーバ４０から配信されたライブ配信映像４を表示部３１に表示し、スピーカ３２から音声や楽曲を放音する。

　〔サーバ４０〕
　サーバ４０は、ライブ配信システム１を管理する装置であり、ライブデータベース４１と、素性データベース４２と、データ記憶部４３と、ネットワークＩＦ４４と、メインメモリ４５と、制御部４６とを備えている。

　管理部としてのライブデータベース４１は、ライブ毎、すなわち配信者毎に、本システムに登録したユーザのユーザＩＤに関連付けて、各ユーザのアイテムを管理する。具体的に、ライブデータベース４１では、ライブ毎に、各ユーザＩＤに関連付けて、アイテムＩＤと、アイテム受取有無とを管理している。アイテムＩＤは、ユーザが購入したアイテムを一意に特定するＩＤであり、各ライブにおいて、ユーザが配信者に対してプレゼントしたアイテムを一意に特定するＩＤである。アイテム受取有無は、ユーザがプレゼントしたアイテムが目標部である入れ物に入ったかどうかを管理する。

　ライブデータベース４１は、その他に、ライブ配信に参加可能な全ユーザをユーザＩＤに関連付けて管理している。各ライブに参加するユーザは、登録された全ユーザから選択される。また、ライブデータベース４１は、一例として、各アイテムの値段をアイテムＩＤと関連付けて管理している。

　素性データベース４２は、目標部が実物体である場合の目標部素性パラメータと、仮想体であるアイテム素性パラメータと、スタジオ１０の実空間に存在する目標部以外の実物体（机６や壁等）の素性パラメータと、目標部が仮想体である場合の目標部の素性パラメータを管理している。その一例を、図３に示す。図３において、測定値は、センサにより測定した値であり、設定値は、配信者Ｘ、ユーザＡ，Ｂ，Ｃ又はサービス提供者が設定する値であり、計算値は、測定値又は設定値を用いて算出する値である。具体的には、素性データベース４２は、形状、位置、傾き、速さ、加速度、質量、硬さ、表面粗さ、温かさ、臭い等のパラメータを管理している。

　例えば、目標部が実物体である場合、スタジオ１０には、複数の目標部となるバケツ、コップ、ごみ箱、装飾箱、さい銭箱等が用意されているとする。この場合、素性データベース４２には、スタジオ１０に予め用意された目標部となる実物体の素性パラメータが格納されている。また、目標部が仮想体である場合、素性データベース４２には、配信者Ｘが選択可能な複数の仮想体のオブジェクトについての素性パラメータが格納されている。例えば、目標部の仮想体としてのバケツ、コップ、ごみ箱、装飾箱、さい銭箱を用意しているとする。この場合、素性データベース４２には、仮想体としてのバケツ、コップ、ごみ箱、装飾箱、さい銭箱の素性パラメータが格納されている。仮想体の目標部は、実物体でないことから、娯楽性を高めるため、実物体とは異なるパラメータを設定することもできる。

　目標部や目標部以外の物が実物体である場合、実際にその物が存在していることから、形状や傾きや位置等のパラメータは、その物をセンサで事前に測定した測定値であり、目標部やアイテムが移動する際の速さや加速度は、実際の測定値とされる。一例として、実物体が動けば、測定値に合わせて目標オブジェクト５も移動するように表示される。また、実物体が物理的に変形すれば、測定値に合わせて目標オブジェクト５も変形される。一例として、実物体として掌が目標部となる入れ物に設定された場合、掌で構成された器が目標オブジェクト５である。目標オブジェクト５は、掌の移動や掌の開き具合に応じて、掌で構成された器が移動され、また、掌で構成された器が変形される。一例として、実物体のゴミ箱が目標部に設定された場合、目標オブジェクト５は、ごみ箱の内側面の底面で囲まれた空間部が収納部に設定され、手に持ったゴミ箱や置かれたごみ箱が移動されたときには、それに合わせて移動されることになる。勿論、実際の測定値に基づいて計算した計算値によって実物体を移動させたり変形させてもよい。また、温かさや表面粗さに関するパラメータは、実物体と異なる値を設定することもできる。一例として、目標部の入れ物や机６の表面温度は、サーモグラフィの測定によれば１５℃であっても、実際に異なる温度（一例として３６℃（体温程度））と設定することもできる。これにより、一例として、アイテムがチョコレートであった場合、目標部の入れ物や机６が１５℃のときよりも３０℃のときの方が溶けやすくなり、チョコレートも溶けやすく又は溶けた状態に表現されることになり、娯楽性を高めることができる。また、アイテムの表面粗さや床や机６の表面粗さを実際の表面粗さよりも高くしたときには、アイテムは実際より転がりにくく、また、弾みにくくなり、実際の表面粗さよりも低くしたときには、実際より転がりやすく、また、高く弾むように表現される。なお、表面粗さは、一例として、デプスカメラ１３によってその凹凸を測定することで設定することも可能である。実物体であるコップやゴミ箱等の入れ物は、当該入れ物の外側面と内側面とで表面粗さ等のパラメータを異ならせることもできる。なお、目標部は、一例として、１つのライブ配信映像４の中に１つだけではなく、複数個設定することもできる。

　アイテムは、仮想体であり、アイテムオブジェクト３として表示される。アイテムは、スタジオ１０の実空間に存在するものではないことから、形状や傾きや位置や速さ等のパラメータは、設定された初期値からの計算値とされる。また、嗅覚フィードバックデバイスを備えている場合、素性データベース４２には、臭いに関する素性パラメータが設定される。これにより、一例として、アイテムが食べ物であった場合、配信者Ｘに対して、食べ物に応じた臭いをフィードバックすることができる。

　データ記憶部４３は、ハードディスクや不揮発性メモリであり、ライブ配信映像４を配信するためのプログラム、アイテムオブジェクト３や目標オブジェクト５を構成する画像データ等を記憶している。一例として、アイテムオブジェクト３や目標部が仮想体である場合の目標オブジェクト５を構成する画像データは、三次元の動画データや画像データであり、向きに合わせた表示が可能となっている。

　ネットワークＩＦ４４は、制御装置１７や配信者端末１８、ユーザ端末５０，７０，８０とデータのやり取りを行う。メインメモリ４５は、一例として、ＲＡＭであり、配信中のライブ配信映像４や制御プログラム等を一時的に記憶する。

　制御部４６は、一例として、ＣＰＵであり、サーバ４０の全体の動作を制御する。一例として、制御部４６は、ライブ配信映像４を制御装置１７や配信者端末１８やユーザ端末５０，７０，８０に対してネットワークＩＦ４４を通じて配信する配信部として機能する。

　制御部４６は、一例として、目標部の位置を設定する設定部として機能し、デプスカメラ１３からの三次元位置情報に基づいてＲＧＢカメラ１２が撮像した映像上に設定し、当該位置に目標オブジェクト５を付加しライブ配信映像４を生成する。また、制御部４６は、ユーザ端末５０，７０，８０からのユーザ動作情報に従って映像上のアイテム位置を特定し、当該位置にアイテムオブジェクト３付加したライブ配信映像４を生成する表示制御部として機能する。更に、表示制御部としての制御部４６は、目標オブジェクト５の目標位置にアイテムオブジェクト３のアイテム位置に重なったかを判断し、目標位置にアイテム位置が重なったとき、目標オブジェクト５にアイテムオブジェクト３が入ったようなライブ配信映像４を生成する。アイテムオブジェクト３及び目標オブジェクト５は、接触したとき、素性パラメータに合わせて変形したりする。制御部４６は、目標部に対するアイテムの状態に合わせて配信者Ｘが装着しているハプティクスデバイス１６を制御するハプティクス制御部としても機能する。

　制御部４６は、一例として、目標部をアイテムの入れ物として機能させる第１特別期間を管理する期間管理部として機能する。一例として、制御部４６は、第１特別期間以外は目標部を入れ物としては機能させないようにパラメータの設定を変更する。このような場合、一例として、第１特別期間以外にアイテムが目標部に当たったとしても、アイテムオブジェクト３は目標オブジェクト５に入らず跳ね返るように表示される。

　また、制御部４６は、一例として、ユーザＡ，Ｂ，Ｃに対して特典を付与する第２特別期間を管理する期間管理部として機能する。一例として、制御部４６は、第２特別期間になると、特典として、目標部の形状等が大きくなるようにパラメータを設定変更し、アイテムが目標部の入れ物に入り易くする。

　また、一例として、目標部の大きさが変わるようにパラメータを設定変更し、目標部が小さくなったときにアイテムが入ると第２特別期間以外のときの基準得点より高得点（特典）が得られるようにする。なお、目標部が大きくなったときにアイテムが入ると第２特別期間以外のときの基準得点より低得点となるようにしてもよい。

　一例として、第１特別期間と第２特別期間は、時間軸上同一期間であってもよいし、第１特別期間中に第２特別期間が存在していてもよい。また、制御部４６は、第１特別期間又は第２特別期間の一方の期間だけを管理してもよいし、それ以外の特別期間を管理していてもよい。

　目標部の中に複数個のアイテムを収容することができる。制御部４６は、目標部に１つ目のアイテムが入ったときは目標部の入れ物の素性に合わせて、入れ物の中で弾んだり転がったりして入ったように表示する。制御部４６は、入れ物に入ったアイテムに相当するアイテムオブジェクト３を表示し続け、更に、新たなアイテムが入ったときには、元からあるアイテムと衝突した状態をアイテムや目標部の入れ物の素性に合わせて表示する。一例として、新たなアイテムが元からのアイテムと衝突することによって、両アイテムが入れ物の中で動くように表示する。制御部４６は、一例として、アイテムオブジェクト３が入れ物である目標オブジェクト５の中に入った状態を表示し続ける。そして、制御部４６は、一例として第１特別期間や第２特別期間が終了したとき、ユーザ端末５０，７０，８０からの操作信号に応じて、目標オブジェクト５に入っているアイテムオブジェクト３を消去し、アイテムの表示をリセットする。

　なお、サーバ４０は、スタジオ１０に設置されているマイク１１、ＲＧＢカメラ１２、デプスカメラ１３、スタジオモニタ１４、スピーカ１５、ハプティクスデバイス１６等を制御装置１７を介することなく直接制御するようにしてもよい。

　また、サーバ４０は、以上のような処理の一部をユーザ端末５０，７０，８０と連携して行うようにしてもよい。例えば、ＲＧＢカメラ１２により取得したライブ映像、デプスカメラ１３により取得した三次元位置情報等をユーザ端末５０，７０，８０へ送信する。ユーザ端末５０，７０，８０は、ユーザＡ，Ｂ，Ｃの動作を検出し、ライブ映像、三次元位置情報、ユーザＡ，Ｂ，Ｃの動作の検出結果に基づいて、目標オブジェクト５等をユーザ端末５０，７０，８０ならびにスタジオモニタ１４及び配信者端末１８に表示するようにしてもよい。

　〔ユーザ端末５０〕
　図４に示すように、ユーザ端末５０は、一例として、ユーザＡが管理する装置であり、デスクトップ又はラップトップ型のパーソナルコンピュータ５０ａとスマートウォッチ６０とを備えている。一例として、ラップトップ型のパーソナルコンピュータ５０ａは、オーディオＩＦ５１と、表示ＩＦ５２と、ネットワークＩＦ５３と、通信ＩＦ５４と、データ記憶部５５と、操作ＩＦ５６と、メインメモリ５７と、制御部５８とを備えている。オーディオＩＦ５１は、スピーカ、イヤホン、ヘッドフォン等の音声出力機器やマイク等の音声入力機器と接続されている。表示ＩＦ５２は、一例として、液晶表示装置等の表示装置で構成された表示部５９と接続されている。

　ネットワークＩＦ５３は、一例として、ネットワーク２を介してサーバ４０と通信する。通信ＩＦ５４は、一例として、スマートウォッチ６０と通信する。通信ＩＦ５４とスマートウォッチ６０とは、無線ＬＡＮや有線のＬＡＮで接続され、スマートウォッチ６０からユーザ動作情報としての加速度データ、角度データ、角速度データ等が入力される。データ記憶部５５は、不揮発性メモリであり、一例として、ハードディスクやフラッシュメモリである。データ記憶部５５は、ライブ配信映像４の再生プログラムやスマートウォッチ６０との通信制御プログラム等が格納されている。操作ＩＦ５６は、キーボードやマウス等の操作装置と接続されている。また、表示ＩＦ５２に接続された表示部５９にタッチパネルが設けられているときには、当該タッチパネルと接続されている。メインメモリ５７は、一例として、ＲＡＭであり、配信中のライブ配信映像４や制御プログラム等を一時的に記憶する。制御部５８は、一例として、ＣＰＵであり、ユーザ端末５０の全体の動作を制御する。一例として、制御部５８は、アイテムのオブジェクトの一覧の中から１つ又は複数のアイテム選択データをサーバ４０に対して送信する。更に、制御部５８は、一例として、スマートウォッチ６０で検出したユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データをサーバ４０に対して送信する。

　スマートウォッチ６０は、一例としてユーザＡの利き腕の手首等に装着される腕時計型の情報処理端末である。スマートウォッチ６０は、センサ６１と、通信ＩＦ６２と、データ記憶部６３と、メインメモリ６４と、バイブレータ６５と、制御部６６とを備える。センサ６１は、例えば加速度センサやジャイロセンサである。通信ＩＦ６２は、一例として、センサ６１が検出した加速度データやスマートウォッチ６０の角度データや角速度データをパーソナルコンピュータ５０ａに送信する。センサ６１は、一例として、ユーザＡが物を投げる動作をしたとき、その腕の振りに関するユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データを検出する。データ記憶部６３は、不揮発性メモリであり、一例として、ハードディスクやフラッシュメモリである。データ記憶部６３は、センサ６１を駆動するドライバやパーソナルコンピュータ５０ａとの通信制御プログラム等が格納されている。制御部６６は、一例として、ＣＰＵであり、スマートウォッチ６０の全体の動作を制御する。一例として、制御部６６は、アイテムが目標部に入ったときや落下したときにバイブレータ６５を駆動し、ユーザＢに対して感覚で知らせる。

　なお、ユーザ端末５０と接続される端末は、スマートウォッチ６０ではなく、加速度センサやジャイロセンサを備えスマートフォン等の小型で携帯可能な情報処理端末であってもよい。

　〔ユーザ端末７０〕
　ユーザ端末７０は、一例として、ユーザＢが管理する装置であり、スマートフォンやタブレット等のスマートデバイス端末である。ユーザ端末７０は、一例として、オーディオＩＦ７１と、表示ＩＦ７２と、操作ＩＦ７３と、センサ７４と、ネットワークＩＦ７５と、データ記憶部７６と、メインメモリ７７と、制御部７８と、表示部７９と、バイブレータ７９ａとを備えている。オーディオＩＦ７１は、内蔵スピーカやイヤホン等の音声出力機器や内蔵マイク等の音声入力機器と接続されている。オーディオＩＦ７１は、一例として、ライブ配信映像４の音声データをスピーカやイヤホン等の音声出力機器から放音する。表示ＩＦ７２は、内蔵の液晶パネル、有機ＥＬパネル等の小型の表示部７９と接続されている。表示部７９には、タッチパネルが設けられ、操作ＩＦ７３は、タッチパネルと接続されている。センサ７４は、例えば加速度センサやジャイロセンサである。ネットワークＩＦ７５は、一例として、ネットワーク２を介してサーバ４０と通信する。ネットワークＩＦ７５は、一例として、ユーザが物を投げる動作をしたとき、センサ７４が検出したユーザ動作情報としての腕の振りに関する加速度データ、角度データ、角速度データの操作データをサーバ４０に送信する。また、ライブ配信映像４が表示されている表示面を指やスタイラスペンを用いて、表示されている目標オブジェクト５の方向へなぞるスワイプ操作が行われたとき、ユーザ動作情報として、その座標データ等の操作データをサーバ４０に送信する。データ記憶部７６は、不揮発性メモリであり、一例として、フラッシュメモリである。データ記憶部７６は、ライブ配信映像４の再生プログラム等が格納されている。メインメモリ７７は、一例として、ＲＡＭであり、ライブ配信映像４や制御プログラム等を一時的に記憶する。

　制御部７８は、一例として、ＣＰＵであり、ユーザ端末７０の全体の動作を制御する。一例として、制御部７８は、ライブ配信映像４を再生しているとき、アイテムのオブジェクトの一覧の中から１つ又は複数の選択データをサーバ４０に対して送信する。更に、制御部７８は、一例として、ユーザがユーザ端末７０を持って、物を投げる動作や操作をしたとき、ユーザ動作情報として、その腕の振りの加速度データ、角度データ、角速度データやスワイプ操作による座標データ等の操作データをサーバ４０に対して送信する。

　なお、ユーザＣのスマートデバイス端末７０ａは、ユーザ端末７０と同様な端末であるためその詳細は省略する。
　〔ライブ配信準備処理〕
　以下、ライブ配信システム１の作用について説明する。

　〔目標部を実物体の入れ物に設定する場合〕
　ライブ映像配信に先立って、先ず、制御装置１７及び配信者端末１８は、サーバ４０に対してログインし、ライブ配信の準備として目標部の設定が可能な状態にする。配信者Ｘは、配信者端末１８又は制御装置１７を操作端末として用い、配信者端末１８又は制御装置１７からライブ配信のための撮像開始操作信号をサーバ４０に送信する。スタジオ１０では、デプスカメラ１３がスタジオ１０における各所の深度情報を取得するとともに、人物領域を算出し、次いで、人物領域において骨格位置を算出し、各骨格位置における深度情報を算出できるようにする。以後、デプスカメラ１３では、モーションキャプチャ処理が実行される。

　図５（ａ）および（ｂ）に示すように、サーバ４０は、撮像開始操作信号を受信すると、ＲＧＢカメラ１２からのライブ映像やデプスカメラ１３からの三次元位置情報を取得し、ライブ映像４ａを生成する。そして、サーバ４０は、ライブ映像４ａをネットワーク２を通じて制御装置１７や配信者端末１８に対して配信する。スタジオモニタ１４には、制御装置１７を通じたライブ映像４ａが表示される。また、配信者端末１８には、制御装置１７を介することなく、又は、制御装置１７を通じて、ネットワーク２を介して受信したライブ映像４ａが表示される。ライブ映像４ａは、ユーザ端末５０，７０，８０には配信されていない映像であり、かつ、配信者Ｘが目標部を設定するため等に視聴可能な映像であり、アイテムオブジェクト３や目標オブジェクト５を含んでいない映像である。

　配信者Ｘは、次に、目標部を設定する操作を行うことになる。図５（ａ）及び（ｂ）では、目標部として、スタジオ１０において実物体としてのコップ５ａを机６の上に置いた例を示している。コップ５ａは、ユーザＡ，Ｂ，Ｃがアイテムを投げる際の目標となる入れ物であり、投げられたアイテムが入る入れ物である。ステップＳ１において、サーバ４０は、ライブ映像の中に目標部指定開始ボタンを付加し、配信者端末１８及びスタジオモニタ１４の表示面に表示する。ここでは、配信者Ｘが配信者端末１８の表示面において目標部指定開始ボタンが表示された領域を指やスタイラスペンでタッチすると、配信者端末１８は、サーバ４０に対して目標部指定開始信号をサーバ４０に対して送信する。

　ステップＳ２において、サーバ４０は、目標部指定開始信号を受信すると、目標部指定モードとなる。なお、目標部指定開始ボタンは、制御装置１７に接続されたスタジオモニタ１４を見ながら制御装置１７に接続されたマウス等の操作部を用いてクリックし、制御装置１７からサーバ４０に目標部指定開始信号を送信するようにしてもよい。そして、サーバ４０は、配信者端末１８やスタジオモニタ１４の表示面に目標部が指定可能になったことを報知する。

　ステップＳ３において、サーバ４０は、ライブ映像４ａの中に目標部を確定する確定ボタンを付加し、配信者端末１８及びスタジオモニタ１４の表示面に表示する。
　次いで、配信者端末１８では、目標位置として、目標部の領域（指定領域）が指定される。指定領域は、配信者Ｘが配信者端末１８の表示面に表示されたコップ５ａのオブジェクトの輪郭を指やスタイラスペンでなぞることによって指定される。配信者Ｘによって指定領域が指定されると、配信者端末１８はサーバ４０に対して指定領域を示す指定領域データを送信し、ステップＳ４において、サーバ４０は、指定領域データを受信する。なお、指定領域は、スタジオモニタ１４を見ながら制御装置１７に接続されたマウス等の操作部を用いて指定し、制御装置１７からサーバ４０に指定領域データを送信するようにしてもよい。

　ステップＳ５において、サーバ４０は、ＲＧＢカメラ１２が撮像したライブ映像４ａの中から指定領域データが示す指定領域を特定し、コップ５ａを検出し認識する。また、サーバ４０は、指定領域に対応した三次元位置情報を取得し、スタジオ１０内における指定領域を目標オブジェクト５として認識する。サーバ４０は、検出したコップ５ａの領域を目標位置に設定する。一例として、コップ５ａの内側の空間部（アイテムが入る部分）を目標位置に設定する。一例として、コップ５ａの内面及び底面で囲まれた空間部を目標位置に設定する。更に、サーバ４０は、スタジオ１０のマイクで集音した音声を音声認識し、目標オブジェクト５を「コップ」と定義する。コップ５ａの内側の空間部（アイテムが入る部分）の定義は、一例として、デプスカメラ１３に向けて、コップ５ａを左右および上下に３６０度回転させるなどして、コップ５ａの外側面、内側面、及び、底面など全ての面をデプスカメラ１３に検出させ、コップ５ａの全ての面を三次元位置情報によって特定することによって可能である。

　なお、サーバ４０に目標部を認識させる方法としては、ＲＧＢカメラ１２の画角（撮像範囲）及びデプスカメラ１３の検出範囲に目標部とする実物体のコップ５ａが入っていない状態（写っていない状態）とコップ５ａが入った状態（写った状態）との差分から目標部を認識させるようにしてもよい。一例として、机６の上に実物体のコップ５ａが置かれていない状態（写っていない状態）とコップ５ａが置かれた状態（写った状態）との差分から目標部を認識させることができる。更に、一例として、配信者Ｘがコップ５ａを手に持って、デプスカメラ１３の方向へコップ５ａを突き出し、配信者Ｘのどの部位よりデプスカメラ１３にコップ５ａを近づけて、動きベクトル等を検出してコップ５ａを目標部として認識させるようにしてもよい。さらに、サーバ４０は、配信者Ｘが音声で「コップ」と発生した音声を音声認識し、ネットワークに存在する画像辞書を参照して、ライブ映像４ａの中からコップの画像を抽出し、これを目標部に設定するようにしてもよい。

　ステップＳ６において、サーバ４０は、配信者端末１８において、指定領域の再指定の操作がされたかを判断する。具体的に、サーバ４０は、再度、配信者端末１８からの指定領域データを受信したかを判断する。そして、サーバ４０は、指定領域の再指定の場合、ステップＳ４からの処理を繰り返す。

　配信者Ｘが配信者端末１８の表示面において、目標部を確定する確定ボタンが表示された領域を指やスタイラスペンでタッチすると、配信者端末１８は、サーバ４０に対して目標部を確定する確定信号をサーバ４０に対して送信する。ステップＳ７において、サーバ４０は、確定信号を受信すると、ステップＳ８において、ライブ映像４ａでの目標部を確定する。すなわち、サーバ４０は、コップ５ａを目標オブジェクト５として設定する。すなわち、目標オブジェクト５（コップ５ａ）で表現された目標部は、素性データベース４２の登録内容（形状、位置、傾き、速さ、加速度、質量、硬さ、表面粗さ、温かさ、臭い等のパラメータ）に基づいて入れ物として定義される。

　なお、以上の例は、ライブ映像４ａ中に１個の実物体のコップが存在する場合を説明しているが、ライブ映像４ａ中には、目標部となり得る複数個の実物体のコップが存在していてもよい。この場合、各コップは、素性データベース４２にパラメータが設定されている。そして、目標部指定モードにおいて、ライブ映像４ａ中に存在する複数個のコップの中から１個のコップを選択するようにすればよい。コップの選択は、指やスタイラスペンで選択したコップをなぞったりタッチすることによって行うことができる。または、音声認識を利用する場合、「一番右のコップ」、「真ん中のコップ」等の表現を解釈し、該当するコップを特定するようにしてもよい。

　サーバ４０は、デプスカメラ１３によって配信者Ｘの各骨格位置と、当該骨格位置の深度情報と、コップ５ａの三次元位置を追跡している。また、サーバ４０は、ＲＧＢカメラ１２によりコップ５ａを検出している。したがって、配信者Ｘが手にコップ５ａを持って移動させたときは、これに合わせて、目標位置も移動する。一例として、配信者Ｘが机６に置いて手を移動させた場合、コップ５ａが置かれた位置が目標位置となる。サーバ４０は、ユーザＡ，Ｂ，Ｃから投げられるアイテムのアイテム位置が目標オブジェクト５が表示されている目標位置と重なったとき、アイテムオブジェクト３が目標オブジェクト５の入れ物に入ったようにユーザ端末５０，７０，８０に表示できるようになる。

　〔ジェスチャで目標部を配信者の一部に設定する場合〕
　図６（ａ）及び（ｂ）に示すように、ステップＳ１１において、サーバ４０は、ライブ映像４ａの中に目標部指定開始ボタンを付加し、配信者端末１８及びスタジオモニタ１４の表示面に表示する。ステップＳ１２において、サーバ４０は、目標部指定開始信号を受信すると、目標部指定モードとなる。ステップＳ１３において、サーバ４０は、ライブ映像４ａの中に目標部を確定する確定ボタンを付加し、配信者端末１８及びスタジオモニタ１４の表示面に表示する。

　ジェスチャで目標部を配信者の一部に設定する場合、サーバ４０は、プログラム内にジェスチャと目標部とを対応付けて管理している。一例として、サーバ４０は、配信者Ｘが右手又は左手又は両手で、グー、チョキ、パーを順にしたときは目標部を両手の掌と定義しており、チョキ、グー、パーをしたときは目標部を配信者Ｘの頭部と定義している。サーバ４０は、デプスカメラ１３によって配信者Ｘの各骨格位置（一例として掌の骨格位置）と、当該骨格位置の深度情報（一例として掌の深度情報）とを追跡している。また、サーバ４０は、ＲＧＢカメラ１２により掌を検出している。ステップＳ１４において、サーバ４０は、これらの情報に基づいて配信者Ｘが行ったジェスチャを検出する。

　ステップＳ１５において、サーバ４０は、検出したジェスチャに関連付いた位置を目標部として認識する。一例として、「グー、チョキ、パー」のジェスチャを検出したときは、目標部として、両手の掌を認識する。また、サーバ４０は、制御装置１７のマイク１１や配信者端末１８のマイクで集音された音声データ、例えば目標部を指定する「グー、チョキ、パー」の音声データによって、目標部として両手の掌を認識する。すなわち、両手の掌が目標オブジェクト５となる。サーバ４０は、検出した両手の掌を目標位置に設定する。一例として、両手の掌で囲まれた空間部（アイテムが入る部分）を目標位置に設定する。

　なお、サーバ４０に目標部を設定するためのジェスチャを認識させる方法としては、一例として、机６の上にジェスチャを行う両手の掌が置かれていない状態（写っていない状態）とジェスチャを行う掌が置かれた状態（写った状態）との差分から目標部を認識させるようにしてもよい。更に、一例として、配信者Ｘがジェスチャを行う両手の掌をデプスカメラ１３の方向へ突き出し、デプスカメラ１３に両手の掌を近づけてジェスチャを行って、サーバ４０がジェスチャを確実に認識するようにしてもよい。

　ステップＳ１６において、サーバ４０は、配信者端末１８において、目標部の再指定の操作がされたかを判断する。具体的に、サーバ４０は、再度、ジェスチャが行われたかを判断する。そして、サーバ４０は、目標部の再指定の場合、ステップＳ１４からの処理を繰り返す。

　配信者Ｘが配信者端末１８の表示面において、目標部を確定する確定ボタンが表示された領域を指やスタイラスペンでタッチすると、配信者端末１８は、サーバ４０に対して目標部を確定する確定信号をサーバ４０に対して送信する。ステップＳ１７において、サーバ４０は、確定信号を受信すると、ステップＳ１８において、ライブ映像４ａでの目標部を確定する。すなわち、サーバ４０は、ジェスチャで関連付けられた部分を目標オブジェクト５として設定する。一例として、一例として、「グー、チョキ、パー」のジェスチャのときは、両手の掌を目標部に設定する。すなわち、目標オブジェクト５（両手の掌）で表現された目標部は、素性データベース４２の登録内容（形状、位置、傾き、速さ、加速度、質量、硬さ、表面粗さ、温かさ、臭い等のパラメータ）に基づいて入れ物として定義される。

　これにより、サーバ４０は、両手の掌を追跡しているので、配信者Ｘが両手の掌を動かしても、これに合わせて、目標部も移動する。サーバ４０は、ユーザＡ，Ｂ，Ｃから投げられるアイテムのアイテム位置が両手の掌の目標位置と重なったとき、アイテムが目標オブジェクト５（両手の掌）に入ったようにユーザ端末５０，７０，８０に表示できるようになる。一例として、配信者Ｘが両手の掌を移動させ、それに合わせて、目標位置が変わっても、両手の掌が移動した先の目標位置において、投げられたアイテム位置が重なったときには、アイテムが目標オブジェクト５（両手の掌）に入ったようにユーザ端末５０，７０，８０に表示できるようになる。

　〔目標部を仮想体とする場合〕
　図７及び図８（ａ）～（ｃ）に示すように、ステップＳ２１において、サーバ４０は、ライブ映像４ａの中に目標部指定開始ボタンを付加し、配信者端末１８及びスタジオモニタ１４の表示面に表示する。ステップＳ２２において、サーバ４０は、目標部指定開始信号を受信すると、目標部指定モードとなる。また、配信者Ｘは、配信者端末１８などを通じて、目標物を実物体ではなく仮想体の中から選択する選択データをサーバ４０に送信する。

　図８（ａ）に示すように、ステップＳ２３において、サーバ４０は、ライブ映像４ａの中に目標部となる仮想体の目標オブジェクト５を選択するための一覧オブジェクト７を付加し、配信者端末１８及びスタジオモニタ１４の表示面に表示する。一覧オブジェクト７では、スタジオ１０には存在しない仮想体を目標オブジェクト５として表示するための選択候補群を構成する複数の選択候補オブジェクトが表示される。一覧オブジェクト７には、選択候補オブジェクトとして、バケツのオブジェクト、コップのオブジェクト、ごみ箱のオブジェクト、装飾箱のオブジェクト、さい銭箱のオブジェクトが表示されている。なお、これに外にも、左右上下に一覧オブジェクト７をスクロールして、これ以外の目標オブジェクト５を表示し、選択可能としてもよい。また、目標オブジェクト５としては、ユーザが自作したオブジェクトであって、ユーザがサーバ４０に対してアップロードしたものであってもよい。ここでは、バケツ、コップ、ごみ箱、装飾箱、さい銭箱の何れもスタジオ１０に存在しない仮想体であり、それぞれの仮想物について、素性データベース４２において素性パラメータが登録されている。仮想物の目標オブジェクト５は、一例として三次元データである。

　配信者端末１８において、配信者Ｘが指やスタイラスペンで、所望するオブジェクトをタッチすると、ステップＳ２４において、配信者端末１８は、サーバ４０に対してオブジェクトの選択データを送信する。サーバ４０は、選択データを受信すると、選択データが示す選択目標部としてのオブジェクトを目標オブジェクト５として選択する。すると、ステップＳ２５において、サーバ４０は、ライブ映像４ａの中に目標部を確定する確定ボタンを付加し、配信者端末１８及びスタジオモニタ１４の表示面に表示する。あわせて、図８（ｂ）に示すように、サーバ４０は、選択した仮想体の目標オブジェクト５を強調（例えば拡大）して表示する。なお、選択した仮想体の目標オブジェクト５のみを表示するようにしてもよい。

　ステップＳ２５の状態は、目標部に表示される目標オブジェクト５が設定されただけであって目標オブジェクト５が表示される目標位置は設定されていない。そこで、サーバ４０は、目標位置を設定するための処理に移行する説明を表示する。これを受けて、配信者Ｘは、一例として、目標オブジェクト５を表示する目標位置を設定するジェスチャを行う。一例として、ここでのジェスチャは、デプスカメラ１３の方向へ目標オブジェクト５を表示する両手の掌を突き出す動作である。サーバ４０は、デプスカメラ１３によって配信者Ｘの各骨格位置（一例として掌の骨格位置）と、当該骨格位置の深度情報（一例として掌の深度情報）とを追跡している。また、サーバ４０は、ＲＧＢカメラ１２により両手の掌を検出している。ステップＳ２６において、サーバ４０は、これらの情報に基づいて配信者Ｘが行ったジェスチャを検出する。そして、ステップＳ２７において、サーバ４０は、デプスカメラ１３から見て最も手前にある掌に対して目標オブジェクト５を付加する（図８（ｃ）参照）。ステップＳ２８において、サーバ４０は、目標オブジェクト５の位置を目標位置に設定する。一例として、目標位置は、配信者Ｘがバケツ５ｂを持つ掌の位置でもよいが、ここでは、配信者Ｘが手に持ったバケツ５ｂの位置である。一例として、サーバ４０は、付加したバケツ５ｂの外形で囲まれた領域を目標位置に設定する。一例として、バケツ５ｂの内側の空間部（アイテムが入る部分）を目標位置に設定する。バケツ５ｂの内側の空間部（アイテムが入る部分）は、素性データベース４２において予め定義しておけばよい。これにより、目標位置が配信者Ｘの掌に持たれたバケツ５ｂの開口部から中にアイテムが入ったときに、アイテムが目標部に入ったと判定することができ、また、バケツ５ｂの外側面にアイテムが当たっただけでは、アイテムが入ったことにはならなくなり、実際のアイテムとバケツの関係をより正確に再現できるようになる。

　なお、目標位置は、ステップＳ２６のような設定処理を行うまでもなく、机６の上の所定位置等に予め決めておくようにしてもよい。この場合、目標オブジェクト５が選択されると、選択された目標オブジェクト５があらかじめ決められた目標位置に付加されることになる。そして、掌とバケツ５ｂが離れても、目標部は、あくまでバケツ５ｂとなり、バケツ５ｂをめがけてアイテムが投げられることになる。

　ステップＳ２９において、サーバ４０は、配信者端末１８において、目標位置の再指定の操作がされたかを判断する。具体的に、サーバ４０は、再度、ジェスチャが行われたかを判断する。そして、サーバ４０は、目標部の再指定の場合、ステップＳ２６からの処理を繰り返す。

　配信者Ｘが配信者端末１８の表示面において、目標部を確定する確定ボタンが表示された領域を指やスタイラスペンでタッチすると、配信者端末１８は、サーバ４０に対して目標部を確定する確定信号をサーバ４０に対して送信する。ステップＳ３０において、サーバ４０は、確定信号を受信すると、ステップＳ３１において、ライブ映像４ａでの目標部を確定する。すなわち、目標オブジェクト５（バケツ５ｂ）で表現された目標部は、素性データベース４２の登録内容（形状、位置、傾き、速さ、加速度、質量、硬さ、表面粗さ、温かさ、臭い等のパラメータ）に基づいて入れ物として定義される。

　したがって、配信者Ｘが手を動かして手に持ちながらバケツ５ｂを移動させると、これに合わせて、バケツ５ｂの目標位置も移動する。また、バケツ５ｂを机６に置き、バケツ５ｂから手を離してもよい。この場合、机６の上のバケツ５ｂの目標オブジェクト５の位置が目標位置となる。このように、バケツ５ｂの位置が変わっても、移動先の目標位置アイテムのアイテム位置とが重なったとき、アイテムが目標オブジェクト５の入れ物に入ったことになる。

　〔ライブ配信処理〕
　図９（ａ）に示すように、目標部の設定が完了すると、ステップＳ４１において、サーバ４０は、目標オブジェクト５がライブ映像４ａに付加されたライブ配信映像４の配信を可能な状態にする。また、一例として、サーバ４０は、配信者端末１８から配信開始信号を受信すると、ユーザ端末５０，７０，８０でライブ配信映像４を視聴できる状態にする。なお、以下の説明では、ユーザＢ（ユーザ端末７０）がライブ配信映像４を視聴する場合を説明する。

　ユーザ端末７０では、ライブ配信中の配信者Ｘの一覧が表示される。一例として、配信者の顔写真や似顔絵画像等で構成された配信者オブジェクトが一覧表示される。ユーザ端末７０は、所望の配信者の配信者オブジェクトを選択すると、配信者選択データをサーバ４０に対して送信する。ステップＳ４２において、サーバ４０は、ユーザ端末７０からの配信者選択データを受信すると、配信者選択データの送信元となるユーザ端末７０において、配信者選択データが示す配信者のライブ配信映像４の視聴を可能とする。ユーザ端末７０では、選択した配信者Ｘのライブ配信映像４を視聴することができる。

　ステップＳ４３において、サーバ４０は、特別期間に入ったかどうかを判断する。特別期間は、一例として、上述の第１特別期間又は第２特別期間である。第１特別期間は、目標オブジェクト５で示された目標部が入れ物として機能する期間である。第１特別期間は、配信者Ｘがライブ配信を開始してからライブ配信を終了するまでの期間としてもよい。また、第１特別期間は、ユーザＢが視聴を開始してから第１期間（例えば１分）経過してから開始し、第２期間（例えば１０分間）継続し、第２期間を経過したときに終了するようにしてもよい。また、第１特別期間は、配信者Ｘが第１特別期間を開始する合図となる開始ジェスチャ（例えば手を挙げる）をし、これをサーバ４０が検出したとき開始し、もう一度手を挙げる終了ジェスチャをしたとき終了するようにしてもよい（図９（ｂ）参照）。なお、第１特別期間以外にアイテムが目標部にあたったとしても、アイテムオブジェクト３は目標オブジェクト５に入らず跳ね返るように表示することができる。一例として、第１特別期間が開始したとき、目標オブジェクト５の表示を開始し、終了したとき、目標オブジェクトの表示を終了することもできる。

　また、第２特別期間は、ユーザＢに対して特典を付与する期間である。例えば、ユーザ端末７０が選択した配信者Ｘのライブ配信映像４を視聴し始めると、何時でも、目標オブジェクト５で示された目標部が入れ物として機能している。その中で、第２特別期間に入ると、サーバ４０は、目標部である目標オブジェクト５の形状（入口の形状など）等が大きくなるようにパラメータを設定変更し、ユーザ特典として、アイテムが目標オブジェクト５の入れ物に入り易くする。また、目標部の大きさ（入口の形状など）が大きくなったり小さくなったりして、大きさが変更されるようにしてもよい。この場合、目標オブジェクト５が大きくなったときには、アイテムが入ったときの得点を基準得点より低得点とし、目標オブジェクト５が小さくなったときには、ユーザ特典として、アイテムが入ったときの得点を基準得点より高得点となるようにする。一例として、通常２点であるところ、目標オブジェクト５が大きくなったときにアイテムが入ると、低得点（１点）とし、目標オブジェクト５が小さくなったときにアイテムが入ると、高得点（３点）とする。大きさが変化する目標オブジェクト５は、目標物が実物体ではなく、仮想体の場合である方が好ましい。また、実物体であっても、その実物体が一例として折り畳み式のコップやバケツであれば、大きさを配信者Ｘの作業で変化させることができる。さらに一例として、目標物が実体物であってその形状を変化させてなくても、アイテムの「入りやすさ」を第２特別期間中のみ変化させてもよい。この場合，実体物である目標物上等に「入りやすさ」が変化した旨を報知する表示や第２特別期間である旨の表示を付加してもよい。

　なお、第１特別期間や第２特別期間等の特別期間は、一例として、カラオケ等の楽曲と連動しているとき、間奏の期間や楽曲と楽曲の間等であってもよい。また、第１特別期間の中に第２特別期間があってもよい。これにより、ユーザは、一層アイテムを購入し第１特別期間や第２特別期間でアイテムを投げて楽しむことができる。また、第１特別期間と第２特別期間は、時間軸上同一期間であってもよい。また、制御部４６は、第１特別期間又は第２特別期間の一方の期間だけを管理してもよいし、それ以外の特別期間を管理していてもよい。

　また、特別期間は、当該特別期間に付与される（買うことができる）アイテムの数を限定（例えば１０個）として、全てのアイテムが売れたとき、又は、全てのアイテムが目標部に入ったとき、終了するようにしてもよい。アイテムの付与数は、配信者Ｘが決めてもよいし、サービス提供者が決めてもよい。また、アイテムの付与数は、選択された目標オブジェクト５の種類、すなわち容量によって決まるようにしてもよい。すなわち、目標オブジェクト５の入れ物がアイテムで一杯になったとき、特別期間が終了することもできる。目標オブジェクト５の入れ物がアイテムで一杯になったかどうかの判断基準については後述する。

　そして、サーバ４０は、特別期間に入ったとき、ステップＳ４４に進む。ステップＳ４４において、サーバ４０は、配信者Ｘのライブ配信映像４をユーザ端末７０で視聴しているユーザＢからのプレゼント、すなわちアイテムを受け付ける処理を開始する。なお、ステップＳ４４のプレゼント処理については、後述する。ステップＳ４５において、サーバ４０は、特別期間が終了したかを判断し、特別期間が終了したとき、ステップＳ４６に進む。ステップＳ４６において、サーバ４０は、ライブ配信映像４を視聴しているユーザＢのユーザ端末７０に対して特別期間の終了通知を送信する。

　ユーザＢは、特別期間が終了した後、目標オブジェクト５に入ったように表示されているアイテムオブジェクト３を全消去することができる。その場合、ユーザＢは、ユーザ端末７０の表示面に表示されているアイテムの全消去ボタンを指やスタイラスペンでタッチすると、ユーザ端末７０は、サーバ４０に対してアイテム全消去信号を送信する。ステップＳ４７において、サーバ４０は、アイテム全消去信号を受信すると、ステップＳ４８において、目標オブジェクト５からアイテムオブジェクト３を消去する処理を実行する。アイテム全消去の操作が行われなかったときは、ステップＳ４８の処理は省略され、ライブ配信映像４の視聴を終了するまで、アイテムオブジェクト３が表示され続けることになる。

　ユーザＢは、ライブ配信映像４の視聴を終了するときには、ユーザ端末７０の表示面に表示されている終了ボタンを指やスタイラスペンでタッチすればよく、終了ボタンが操作されると、ユーザＢは、サーバ４０との接続を切断する。または、表示ウィンドウを閉じる。また、配信者Ｘは、ライブ配信を終了するとき、配信者端末１８で配信終了操作を行う。すると、配信者端末１８は、サーバ４０に対して、配信終了信号を送信する。ステップＳ４９において、サーバ４０は、配信終了信号を受信すると、該当するライブ配信の終了処理を行う。

　〔プレゼント処理〕
　プレゼント処理において、ユーザＢは、先ず、配信者Ｘに対してプレゼントするアイテムを選択する。その後、ユーザ端末７０で選択したアイテムをユーザ端末７０に表示されている目標オブジェクト５をめがけて投げる動作や操作をして、配信者Ｘに対してアイテムをプレゼントすることになる。

　図１０（ａ）に示すように、ステップＳ５１において、サーバ４０は、ユーザ端末７０の表示面に、ライブ配信映像４の中に、選択可能なアイテムのオブジェクトを一覧表示するアイテム選択オブジェクト８を表示する（図１０（ｂ）参照）。一例として、図１０（ｂ）では、アイテム選択オブジェクト８には、左から順に、アイテムの選択候補群として、花束のアイテムオブジェクト、配信者Ｘの動作を演出するエフェクトを付加するアイテムオブジェクト、猫耳のヘッドバンドのアイテムオブジェクト、ライブ配信映像４の背景画像のアイテムオブジェクト、宝石のアイテムオブジェクトが一列に列挙されている。なお、これに外にも、左右上下にアイテム選択オブジェクト８をスクロールして、これ以外のアイテムオブジェクト（チョコレート等）を表示し、選択可能としてもよい。また、アイテムとしては、ユーザが自作したアイテムであって、ユーザがサーバ４０に対してアップロードしたものであってもよい。

　アイテム選択オブジェクト８に列挙されるアイテムは、運営者側によって複数用意されるアイテムである。用意されるアイテムは、ライブ毎に異なっていてもよいし、全てのライブで共通していてもよい。また、複数のライブで一部のアイテムが重複していてもよい。サーバ４０のデータベースでは、各アイテムの値段をアイテムＩＤと関連付けて管理している。サーバ４０は、一例として、アイテムＩＤに関連付けられて当該アイテムを表示するためのアイテムデータとして動画データや画像データや音声データや楽曲データ等を保存している。アイテムデータは、一例として三次元データである。

　各アイテムは、有料であり、アイテムに応じて金額が決まっており、アイテムＩＤに値段が関連付けられている。一例として、アイテムＩＤ「Ａ」の花束のアイテムは、２００円である。アイテムＩＤ「Ｂ」のエフェクトを付加するアイテムは、３００円である。アイテムＩＤ「Ｃ」の猫耳のヘッドバンドのアイテムは、５００円である。アイテムＩＤ「Ｄ」の背景画像のアイテム「Ｄ」は、１０００円である。アイテムＩＤ「Ｅ」の宝石のアイテム「Ｅ」は、２０００円である。一例として、図２のライブデータベース４１に示されたユーザＡは、アイテムＩＤ「Ａ」の花束を２００円で購入しており、ユーザＢは、アイテムＩＤ「Ｃ」のヘッドバンドを５００円で購入しており、ユーザＣは、アイテムＩＤ「Ｂ」のエフェクトを３００円で購入している。このように、ユーザＡ，Ｂ，Ｃは、ユーザ端末５０，７０，８０を介してこれらのアイテムを購入することで、配信者Ｘに対してアイテムをプレゼントできるようになる。これにより、配信者Ｘ及び運営者は、ユーザＡ，Ｂ，Ｃからプレゼントされたアイテムに応じた売り上げを得ることができる。配信者Ｘがアイテムを受け取る（目標部の入れ物にアイテムが入る）か否かにかかわらず、ユーザＡ，Ｂ，Ｃがプレゼントしたすべてのアイテムが、配信者Ｘ及びその運営者の売り上げとなる。アイテムの中には、無料のアイテムが存在してもよい。また、１つのライブで、１人のユーザが１つのアイテムを購入してもよいし、複数のアイテムを購入してもよい。ライブデータベース４１では、配信者毎に各ユーザの購入したアイテムと購入金額の総額を管理している。

　ユーザ端末７０でアイテム選択オブジェクト８の一覧の中から１つのアイテムがユーザＢにより選択されると、ユーザ端末７０は、ユーザが選択した選択アイテムとして、ユーザＩＤと選択したアイテムのアイテムＩＤを含むアイテム選択データをサーバ４０に対して送信する。ステップＳ５２において、サーバ４０は、アイテム選択データに基づいてアイテムの選択処理を行い、選択されたアイテムオブジェクト３をユーザ端末７０に表示する。図１０（ｃ）では、一例として、サーバ４０が宝石のアイテムを示すオブジェクトを選択し、ユーザ端末７０の表示面に表示した状態を示している。なお、図１０（ｃ）において、目標オブジェクト５は、上述した〔ジェスチャで目標部を配信者の一部に設定する場合（図６（ａ）及び（ｂ）参照）〕の手順に従って設定された配信者Ｘの両手の掌で構成された器である。

　この後、ユーザ端末７０のユーザは、ユーザ端末７０を操作しながらスタジオ１０に居る配信者Ｘに対してアイテムをプレゼントできる状態となる。具体的に、ユーザ端末７０のユーザＢは、ユーザ端末７０を手に持って物を投げる動作をすることで、選択したアイテムを配信者Ｘに対して投げる疑似体験をすることができる。また、ライブ配信映像４が表示されている表示面を指やスタイラスペンを用いて、表示されている目標オブジェクト５の方向へなぞるスワイプ操作を行うことによって、配信者Ｘに対してアイテムをプレゼントすることができる（図１１（ａ）参照）。ユーザＡ，Ｂ，Ｃは、アイテムの飛び方を自由に調整することができ、アイテムが飛翔する方向や飛翔距離を調整することができ、目標部に対してアイテムが入り易くすることができ、娯楽性を高めることができる。一方で、配信者Ｘは、スピーカ１５から放音されるユーザＡ，Ｂ，Ｃの音声等を聞いてユーザＡ，Ｂ，Ｃの反応を知ることができる。これにより、配信者Ｘは、両手の掌を移動させることができる。配信者Ｘは、両手の掌を移動させることで、ユーザＡ，Ｂ，Ｃが投げたアイテムが両手の掌に入りにくくすることもでき、ユーザＡ，Ｂ，Ｃがより多くのアイテムを購入するように促すことができる。なお、図１１（ａ）～（ｃ）においても、目標オブジェクト５は、上述した〔ジェスチャで目標部を配信者の一部に設定する場合（図６（ａ）及び（ｂ）参照）〕の手順に従って設定された配信者Ｘの両手の掌で構成された器である。

　ステップＳ５３において、サーバ４０は、ユーザＢによって投げ動作がされたか判定する。スワイプ操作でアイテムを投げる操作が行われた場合、サーバ４０は、座標データ等の操作データを受信すると、その移動量が閾値を超える場合等に、投げ動作が行われたと判定する。一例として、タッチパネルのスワイプ操作が行われた際の始点と終点の距離等が閾値を超えたとき、投げ動作が行われたと判定する。

　また、手で物を投げる動作がされた場合、サーバ４０は、ユーザ端末５０，８０から単位時間ごとに送信されるユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データを受信する。サーバ４０は、ユーザＢが投げ動作を行ったことを判定するための閾値を記憶しており、閾値を超えたとき、ユーザ端末７０で投げ動作が行われたと判定する。一例として、サーバ４０は、投げ動作を特定するため、加速度データ、角度データ、角速度データ等の閾値を記憶している。サーバ４０は、加速度データ、角度データ、角速度データ等が閾値を超えたとき、投げ動作が行われたと判定する。

　ステップＳ５４において、サーバ４０は、ユーザ動作（投げ動作）を解析してアイテム位置を算出する。タッチパネルのスワイプ操作が行われた場合、サーバ４０は、スワイプ操作が行われた際の始点座標と終点座標や速さから投げられたアイテムの方向や軌跡や落下位置であるアイテム位置を算出する。また、手で物を投げる動作がされた場合、サーバ４０は、ユーザ端末７０から送信された腕の振りに関する加速度データ、角度データ、角速度データ等の操作データに基づいてユーザの腕の振りの向きや速さ等を解析する。これにより、サーバ４０は、スタジオ１０の実空間及びライブ配信映像４における投げられたアイテムが投げられたときの軌跡や落下位置であるアイテム位置が算出する。そして、サーバ４０は、算出した三次元位置情報から特定されるライブ配信映像４における位置にアイテムオブジェクト３を付加する。

　ステップＳ５５において、サーバ４０は、解析結果に基づいて宝石のアイテムオブジェクト３をユーザ端末７０の表示面に表示する。これにより、図１１（ｂ）及び（ｃ）に示すように、ユーザ端末７０の表示面には、アイテムオブジェクト３が配信者Ｘに向かって来るようにリアルタイムに表示される。また、同様のアイテムオブジェクト３をスタジオ１０のスタジオモニタ１４や配信者端末１８にリアルタイムに表示される。アイテムオブジェクト３は、ユーザ端末７０の表示面やスタジオモニタ１４や配信者端末１８の表示面に表示するにあたって、スタジオ１０の実空間に本来あるべきアイテム位置に表示される。すなわち、スタジオ１０の実空間におけるアイテム位置が三次元位置情報によっても特定されていることで、アイテムオブジェクト３は、仮にＲＧＢカメラ１２の向きを変更したとしても、そのＲＧＢカメラ１２の向きで取得している映像のなかでしかるべき位置に表示される。また、アイテム位置がＲＧＢカメラ１２の撮像範囲から外れる場合には、落下したアイテムオブジェクト３が表示されなくなる。また、アイテムオブジェクト３の近くには、配信者Ｘが誰が提供したアイテムであるが視認できるように、当該アイテムを投げたユーザＩＤが表示される。

　同じライブ配信映像４を視聴している複数のユーザが配信者Ｘに対してアイテムを投げたときには、他人の投げたアイテムも表示される。これにより、ユーザ間で配信者Ｘに対して投げるアイテムの数を競わせることができる。

　また、配信者Ｘは、意図的に目標オブジェクト５を移動させるようにして、アイテムのアイテムオブジェクト３が目標部の目標オブジェクト５に入りにくくして、ユーザがより多くのアイテムを購入して使うように促すこともできる。

　アイテムオブジェクト３は、少なくとも、最終的に目標位置や落下位置に表示されればよく、目標位置や落下位置に飛翔してくるまでの途中の状態や軌跡等が表示されなくてもよい。

　〔アイテムオブジェクト表示処理〕
　図１２（ａ）に示すように、ステップＳ６１において、サーバ４０は、ユーザＢによって投げられたアイテムのアイテム位置が目標位置に重なったかを判断する。すなわち、サーバ４０は、アイテムオブジェクト３が目標オブジェクト５と重なったか（アイテムが目標部の入れ物に入ったか）を判断し、重なった場合、ステップＳ６２に進み、重ならなかった場合、ＣのステップＳ９１（図１５（ａ）参照）に進む。

　ここで、アイテムオブジェクト３の範囲及び目標オブジェクト５の範囲は、一例として、三次元位置情報と、ユーザ動作情報と、アイテムの種類とによって決定される。一例として、素性データベース４２で設定されたパラメータに従う。一例として、アイテムオブジェクトの範囲は、アイテムの外形形状の範囲となる。一例として、アイテムオブジェクト３の範囲は、代表の１点又は複数点である。また、目標オブジェクト５の範囲は、アイテムを収容するための体積又は容積を有した立体的な空間部である。一例として、目標オブジェクト５の範囲は、コップやバケツ等の入れ物である場合、内側面の底面で囲まれた空間部である。また、目標オブジェクト５の範囲は、目標オブジェクト５の中の代表の１点又は複数点である。アイテムオブジェクト３と目標オブジェクト５とが重なったかの判定は、アイテムオブジェクト３及び／又は目標オブジェクト５の１点が重なったかどうかよりも、複数点の中の１点や領域が重なったかどうかとした方が行いやすくなる。一例として、アイテムが目標部の入口から入り、目標位置とアイテム位置とが重なったときに限って、アイテムが目標部に入ったと判断する。一例として、アイテムが目標部の入口から入らなくても、目標位置とアイテム位置とが重なったとき、アイテムが目標部に入ったと判断する。

　ステップＳ６２において、サーバ４０は、アイテムの素性パラメータと目標部の素性パラメータに合わせてアイテムが目標部の掌で構成した器に入った直後の状態をライブ配信映像４に付加する。一例として、アイテムの宝石が目標部の掌で構成した器に入ったとき、若干、掌に衝撃が加わる。サーバ４０は、宝石が掌に最初に当たる状態をライブ配信映像４の中に付加する。ユーザ端末７０では、宝石のアイテムオブジェクト３が掌で構成した器の目標オブジェクト５に届くまでの状態がライブ配信映像４の中で表示され、これにより、ユーザＢは、自分が投げたプレゼントが配信者Ｘにまで届いたことを視認することができる。

　ところで、配信者Ｘには、実物体の宝石が掌で構成した器に届いたわけではない。配信者Ｘは配信者端末１８やスタジオモニタ１４に表示されたライブ配信映像４を視聴することで、ユーザＢからのアイテムが掌で構成した器に入ったことを知ることができるだけである。そこで、ステップＳ６３において、サーバ４０は、配信者Ｘに宝石が掌に当たった衝撃を感覚で付与すべく、配信者Ｘが装着されているハプティクスデバイス１６を駆動し、配信者Ｘが掌で構成した器に宝石が当たったことを感覚で認識できるようにする。このとき、ハプティクスデバイス１６により配信者Ｘに与えられる振動は、アイテムの素性パラメータ（重さや形状等）や掌のパラメータ（大きさや表面粗さや柔らかさ等）に従って付与される。一例として、重いアイテムほど強い振動がハプティクスデバイス１６を通じて配信者Ｘに感覚的にフィードバックされることになる。

　通常、宝石は、掌で構成した器に最初に当たったあと、若干掌で構成した器の中で転がり静止する。ステップＳ６４において、サーバ４０は、アイテムの素性パラメータや掌のパラメータに従って掌で構成した器の中で転がり静止する状態をライブ配信映像４の中に付加する。ユーザ端末７０では、宝石のアイテムオブジェクト３が掌で構成した器の目標オブジェクト５に届くまでの状態がライブ配信映像４の中で表示され、これにより、ユーザＢは、自分が投げたプレゼントが配信者Ｘに受け取ってもらえたことを視認することができる。サーバ４０は、一例として、目標オブジェクト５に対するアイテムオブジェクト３の接触時間を計時し、閾値以上となったとき目標オブジェクト５内にアイテムオブジェクト３を表示し続ける。接触時間が閾値未満のときは、一例として、器にいったん入ったものの弾かれて器を飛び出してしまった場合等である。

　あわせて、ステップＳ６５において、サーバ４０は、掌で構成した器の中で転がり静止する状態に合わせた衝撃を感覚で付与すべく、配信者Ｘが装着されているハプティクスデバイス１６をアイテムの素性パラメータや掌のパラメータに従って駆動し、配信者Ｘが掌で構成した器の中で転がり静止することを感覚で認識できるようにする。

　なお、配信者Ｘに対してアイテムが多くプレゼントされ過ぎた場合、入れ物である目標部に入りきらなくなる。目標部にアイテムが入る量は、素性データベース４２における目標部の設定による。サーバ４０は、目標部にアイテムが一杯になった場合（溢れるようになった場合）受け入れたアイテムをリセットする、すなわち目標部が空の状態にしてもよい。アイテムが目標部に一杯になったかの判断は、一例として、アイテムが目標オブジェクト５の入れ物の空間部（入れ物の内側面及び底面）と所定時間以上接触し、かつ、入れ物に入ったアイテムの体積の総和が入れ物の容積以下の閾値以上となったときである。また、一例として、アイテムが目標オブジェクト５の入れ物の空間部（入れ物の内側面及び底面）と所定時間以上接触し、かつ、入れ物の内側面及び底面とアイテムとの接触面積の総和が入れ物の内面積以下の閾値以上となったときである。これらの状態は、アイテムが入れ物に対してほぼ一杯になった状態ということができる。

　アイテムは、全て仮想体であり、目標部には、実物体と仮想体がある。アイテムが目標部に対して当たったとき、衝撃によって形状が変化したり、所定の力で反発し合ったりして、互いに影響し合う。そこで、目標部が実物体であるとき、仮想体であるアイテムは、実物体の素性パラメータに従って変形したり反発することになる。また、目標部もアイテムも共に仮想体である場合は、互いの素性パラメータに従って変形したり反発することになる。すなわち、アイテムや目標部の変形量やアイテムの反発して飛び跳ねる量等が互いの素性パラメータに従って算出される。そして、その結果に応じて、アイテムオブジェクト３や目標オブジェクト５が表示され、更にハプティクスデバイス１６が駆動されることになる。

　更に、アイテムは、机や床などの目標部以外のものに対しても当たり、衝撃によって形状が変化したり、所定の力で反発し合ったりする。そこで、机や床などの目標部以外のものが実物体であるとき、仮想体であるアイテムは、実物体の素性パラメータに従って変形したり反発することになる。また、机や床などの目標部以外のものが仮想体であるとき、仮想体であるアイテムは、互いの素性パラメータに従って変形したり反発することになる。すなわち、アイテムの変形量やアイテムの反発して飛び跳ねる量等が互いの素性パラメータに従って算出される。そして、その結果に応じて、アイテムオブジェクト３や机や床などの仮想体が表示され、更にハプティクスデバイス１６が駆動されることになる。

　ところで、配信者Ｘは、スタジオ１０内を、席を離れることもある（図１２（ｂ）参照）。すると、アイテムを持った配信者Ｘの掌で構成した器に保持しているアイテムや目標部がＲＧＢカメラ１２の画角（撮像範囲）から外れフレームアウトすることがある。そこで、ステップＳ６６において、サーバ４０は、アイテム位置及び目標位置がフレーム内にあるかを判断する。そして、フレーム外となったとき、ステップＳ６７において、アイテムオブジェクト３及び目標オブジェクト５はユーザ端末７０に表示されなくなる（図１２（ｃ））。また、フレームを外れていないとき、ステップＳ６８に進み、フレーム内において、移動先の位置にアイテムオブジェクト３及び目標オブジェクト５をユーザ端末７０に表示し続ける。

　アイテムオブジェクト３及び目標オブジェクト５がフレーム外となった場合において、配信者Ｘは、フレーム外となったアイテム及び目標部がフレーム内となるように、ＲＧＢカメラ１２を移動させたり、撮像方向を変更することがある。このような場合、ステップＳ６９において、サーバ４０は、再度、アイテム位置及び目標位置がフレーム内にあるかを判断する。そして、フレーム内となったとき、ステップＳ７０において、改めてアイテムオブジェクト３及び目標オブジェクト５をユーザ端末７０に表示する。また、サーバ４０は、フレーム内にアイテム位置及び目標位置が入らないうちは、ステップＳ７１において、アイテムオブジェクト３及び目標オブジェクト５は非表示の状態が続くことになる。

　また、配信者Ｘの掌で構成した器（目標部）に既に１つ以上の宝石（アイテム）が保持されている状態において、新たな宝石（アイテム）が投げ込まれた場合、サーバ４０は、掌で構成した器の目標オブジェクト５内に存在するアイテムオブジェクト３に対して新たなアイテムオブジェクト３が当たり、掌で構成した器からこぼれそうになったり、こぼれたりすることがある。そこで、図１３（ａ）に示すように、ステップＳ８１において、サーバ４０は、配信者Ｘの掌で構成した器（目標部）に既に１つ以上の宝石（アイテム）が保持されている状態において、新たな宝石（アイテム）が投げ込まれると、掌で構成した器の目標オブジェクト５内に存在するアイテムオブジェクト３に対して新たなアイテムオブジェクト３が当たり、両者が弾かれ掌で構成した器からこぼれそうになる状態をライブ配信映像４の中に付加し、ユーザ端末７０や配信者端末１８に表示する（図１３（ｂ）及び（ｃ）参照）。なお、図１３（ｂ）及び（ｃ）中、こぼれそうなアイテムオブジェクトを３ａで示す。また、ステップＳ８２において、サーバ４０は、アイテム同士が当たる衝撃や掌で構成した器内を転動する感覚で付与すべく、配信者Ｘが装着されているハプティクスデバイス１６をアイテムの素性パラメータや掌のパラメータに従って駆動し、配信者Ｘが掌で構成した器の中で転がり静止することを感覚で認識できるようにする。

　ステップＳ８３において、サーバ４０は、目標オブジェクト５の掌で構成した器から宝石のアイテムオブジェクト３がこぼれたかどうかを、アイテムを投げ込むユーザ端末７０での操作データ、アイテムの素性パラメータ及び掌のパラメータに従って判断する。そして、サーバ４０は、こぼれた場合、ステップＳ８４に進み、こぼれていない場合、ステップＳ８１からの処理を繰り返す。

　アイテムが掌で構成した器からこぼれた場合、アイテムは、アイテムの素性パラメータ、床や机６の素性パラメータ等に従って、机６の上を転がり（図１４（ａ）参照）、机６から落ちて、床を転がることになる。サーバ４０は、アイテムが机６を転がる状態から机６から落ち、床を転がる一連の状態をライブ配信映像４の中に付加し、ユーザ端末７０や配信者端末１８に表示する。なお、図１４（ａ）中、転がるアイテムオブジェクトを３ａで示す。

　ステップＳ８４において、サーバ４０は、アイテムが転がった結果、アイテム位置がフレーム内にあるかを判断する。そして、フレーム外となったとき、ステップＳ８５において、アイテムオブジェクト３がユーザ端末７０に表示されなくなる。また、フレームを外れていないとき、ステップＳ８６に進み、フレーム内において、アイテムの素性パラメータ、床や机６の素性パラメータ等に従って、移動先の位置にアイテムオブジェクト３をユーザ端末７０に表示し続ける。

　アイテムオブジェクト３がフレーム外となった場合において、配信者Ｘは、フレーム外となったアイテムがフレーム内となるように、ＲＧＢカメラ１２を移動させたり、撮像方向を変更することがある。アイテムがフレーム内となったとき、ステップＳ８７において、改めてアイテムオブジェクト３ａをユーザ端末７０に表示する（図１４（ｂ）～（ｄ）参照）。なお、サーバ４０は、フレーム内にアイテム位置が入らないうちはアイテムオブジェクト３ａは非表示の状態が続くことになる。

　なお、ライブ配信準備として、スタジオ１０における三次元位置情報を全て取得しておくことで、アイテムオブジェクト３が机６から落ちて、机の下等の通常では見えない位置に転がったとしても、その位置を特定することができる。

　ところで、ユーザＢが投げたアイテムが目標部に対して外れることもある。すなわち、宝石のアイテムオブジェクト３が掌で構成された器の目標オブジェクト５に入らないこともある（図１２（ａ）のＣ、ステップＳ６１でＮＯの場合、図１５（ｂ）参照）。このような場合、図１５（ａ）に示すように、ステップＳ９１において、サーバ４０は、アイテム位置がフレーム内にあるかを判断し、フレーム外となったとき、ステップＳ９２において、アイテムオブジェクト３がユーザ端末７０に表示されなくなる。また、フレームを外れていないとき、ステップＳ８６に進み、フレーム内において、アイテムの素性パラメータ、床や机６の素性パラメータ等に従って、移動先の位置にアイテムオブジェクト３をユーザ端末７０に表示し続ける。

　アイテムオブジェクト３がフレーム外となった場合において、配信者Ｘは、フレーム外となったアイテムがフレーム内となるように、ＲＧＢカメラ１２を移動させたり、撮像方向を変更することがある。アイテムがフレーム内となったとき、ステップＳ９４において、改めてアイテムオブジェクト３をユーザ端末７０に表示する。なお、サーバ４０は、フレーム内にアイテム位置が入らないうちはアイテムオブジェクト３は非表示の状態が続くことになる。

　なお、一例として、デプスカメラ１３の検出範囲の方がＲＧＢカメラ１２の撮像範囲よりも広いとき、アイテム位置や目標位置がＲＧＢカメラ１２の撮像範囲を外れ、更にデプスカメラ１３の検出範囲を外れてしまうこともある。この場合、サーバ４０は、検出範囲を外れる直前の目標部の目標位置やアイテム位置を保持し、デプスカメラ１３の検出範囲に復帰したとき、復帰位置に目標位置やアイテム位置を更新する。また、サーバ４０は、デプスカメラ１３の検出範囲に復帰したときの入れ物やアイテムの状態に合わせてハプティクスデバイス１６を駆動する。

　上記ライブ配信システム１によれば、以下に列挙する効果を得ることができる。
　（１）ライブ配信システム１では、ユーザ欲求として、例えばユーザＡ，Ｂ，Ｃは配信者Ｘにアイテムを受け取ってほしい気持ちから、できるだけ多くのアイテムを購入して目標部の入れ物に入るように投げる。そして、アイテムが配信者Ｘの入れ物に入ったことは配信者Ｘにも伝わり、その配信者Ｘの反応をユーザＡ，Ｂ，Ｃは見ることができる。したがって、ユーザＡ，Ｂ，Ｃは、できるだけ多くのアイテムを購入し、配信者Ｘに対して投げようとする。一方、配信者Ｘの方も、アイテムをプレゼントされたことを実感することができ、ユーザＡ，Ｂ，Ｃに対してより多くのアイテム購入するように促すことができる。これにより、ライブ配信システム１に対する配信者やユーザＡ，Ｂ，Ｃの参加人数を増やすことができ、ライブ配信システム１を活性化することができる。

　（２）ユーザＡ，Ｂ，Ｃは、ユーザ端末５０，７０，８０を使って、スタジオ１０に居る配信者Ｘに設定された目標部にアイテムを投げることができる。そして、アイテムのアイテム位置が目標部の目標位置と重なったときに、目標部の入れ物にアイテムが入ったことになる。これにより、ユーザＡ，Ｂ，Ｃは、離れた場所にいる配信者Ｘに対して、仮想的にアイテムを投げて目標部の入れ物に入れることでアイテムをプレゼントすることができる。これにより、ライブ配信システム１は、娯楽性を高めることができる。

　（３）ユーザＡ，Ｂ，Ｃが配信者Ｘに対してアイテムをスタジオ１０に対して投げるような動作をしてプレゼントしたとき、ユーザ端末５０，７０，８０からは腕の振りに関する加速度データ、角度データ、角速度データ等の操作データが送信される。また、スワイプ操作したときの座標データ等が送信される。したがって、ユーザＡ，Ｂ，Ｃは、アイテムの飛び方を自由に調整することができ、アイテムが飛翔する方向や飛翔距離を調整することができ、目標部に対してアイテムが入り易くすることができ、娯楽性を高めることができる。

　（４）配信者Ｘは、目標部となる入れ物を自分が動くことで移動させることができる。配信者Ｘは、目標部となる入れ物を移動させることで、ユーザＡ，Ｂ，Ｃが投げたアイテムが目標部の入れ物に入りにくくすることもでき、ユーザＡ，Ｂ，Ｃがより多くのアイテムを購入するように促すことができる。

　（５）アイテムオブジェクト３が目標オブジェクト５に重なったときに、このことをアイテムが目標部に入ったことにすることができる。これにより、視覚的に、ユーザＡ，Ｂ，Ｃや配信者Ｘに対してアイテムが目標部に入ったことを知らせることができる。

　（６）第１特別期間にアイテムを配信者にプレゼントする期間を限ることで、第１特別期間において集中的にアイテム購入し配信者Ｘにプレゼントすることができる。
　（７）配信者Ｘは、自らの掌でアイテムの投げられる目標部となる入れ物を構成することもできる。また、配信者Ｘが手に持ったコップやバケツ等の実物体とすることもできる。これにより、配信者Ｘは、目標部の選択の自由度が高まり、また、ユーザＡ，Ｂ，Ｃは、目標部となる入れ物が実物体の入れ物であるから、ライブ配信映像４を通じて把握しやすくなる。

　（８）目標部の入れ物を置く位置、すなわち目標位置は、配信者Ｘの一部（手のひらや手に持った実物体のコップ等）の他、配信者Ｘの座席の机の上等若干離れた位置等に設定することができる。すなわち、目標位置を設定する位置の自由度を高めることができる。

　（９）目標部は、実物体に限定されるものではなく、スタジオ１０に実在しない仮想物とすることもでき、これにより、目標部の選択の自由度を高めることができ、娯楽性を高めることができる。

　（１０）目標部は候補群の中から選択することができる。設定される目標部の種類が限定されることから、目標部の素性パラメータをきめ細かく設定することができる。また、配信者Ｘも目標部を候補の中から自由に選ぶことができる。

　（１１）スタジオ１０における配信者に関連して設定される目標部の目標位置は、デプスカメラ１３が検出した三次元位置情報により特定することができる。
　（１２）目標部の素性パラメータは、実物体に近い値とすることで、リアリティを高めることができるし、実物体とは異なる素性パラメータとすることで、目標部が仮想的となり、娯楽性を高めることができる。

　（１３）アイテムの素性パラメータは、実物体に近い値とすることで、リアリティを高めることができるし、実物体とは異なる素性パラメータとすることで、アイテムが仮想的となり、娯楽性を高めることができる。

　（１４）配信者がハプティクスデバイス１６を装着することで、配信者に配して感覚フィードバックを付与することができる。例えば、目標部にアイテムが入ったこと、入れ物の中で転がったこと、アイテムが入れ物から溢れて軽くなったこと等をハプティクスデバイス１６を通じて感得することができる。

　〔第２実施形態〕
　図１６は、本発明の第２実施形態を示している。第２実施形態の表示制御システムは、被写体が屋外の神社寺院等の祭祀施設における犬像となっている。そして、犬像の前のさい銭箱が目標部である。目標部のさい銭箱は、実物体である犬像の前に存在する実物体ではなく、参拝に訪れたユーザＤ，Ｅがヘッドマウントディスプレイ（ＨＭＤ）やスマートデバイス等のユーザ端末を用いて認識できる仮想体である。ここでは、ユーザＤがＨＭＤ１１０を装着し、ユーザＥがスマートデバイスのユーザ端末１４０を所持している。ユーザＤ，Ｅは、犬像の近くまで実際に赴いている。一例として、ユーザＤ，Ｅが居る場所は、犬像の近くであり、さい銭を投げることが可能な程度に被写体に近い場所である。ただし、祭祀施設等は、大勢の人が参拝に行くと、さい銭をさい銭箱にめがけて投げること自体が難しくなる。ユーザＤ，Ｅは、ＨＭＤ１１０やユーザ端末１４０のアプリケーションプログラムを起動すると、ＨＭＤ１１０やユーザ端末１４０を通じて犬像の前にあるさい銭箱の目標オブジェクト５を視認することができ、目標オブジェクト５に対して仮想のアイテムであるさい銭を投げることができる。また、目標オブジェクト５が設定される位置は、トレビの泉のように、ユーザがコインを頻繁に投げる位置とすることもできる。また、目標オブジェクト５が設定される位置は、文化財や遺跡等の公益的施設の前等において、維持管理のため又は修繕修復のための寄付金を募る募金箱であってもよい。また、目標オブジェクト５は、被写体である犬像その物としてもよい。なお、ユーザ端末としては、この他に、スマートグラス等のような眼鏡型情報処理端末であってもよい。

　図１７に示すように、ユーザＤのユーザ端末であるＨＭＤ１１０は、頭部に装着される装着部に設けられユーザＤの眼前に位置する表示部１１２と、装着部に内蔵され、ＨＭＤ１１０全体を制御する制御ユニット１１５と、スピーカ１１６と、操作部１１７とを備えている。制御ユニット１１５は、ネットワークＩＦ１１８と、データ記憶部１１９と、メインメモリ１２０と、制御部１２１とを備えている。データ記憶部１１９は、仮想的なさい銭箱である目標オブジェクト５に対して、仮想的なさい銭等のアイテムを投げてアイテムオブジェクト３を付加するためのアプリケーションプログラムが格納されており、当該プログラムに従って制御部１２１が全体の動作を制御する。

　表示部１１２は、一例として透過型表示パネル等を用いた光学シースルー型である場合、透過型表示パネル上に目標オブジェクト５を付加する。また一例として透過型表示パネルを用いることなく、目標オブジェクト５を網膜上に直接結像する網膜投射型表示装置を用いてもよい。また、ビデオシースルー型や非透過型である場合、表示素子に対して映し出される実空間の映像に対して目標オブジェクト５を付加する。具体的に、ＨＭＤ１１０は、表示部１１２にさい銭としてのアイテムオブジェクト３を表示する。ＨＭＤ１１０は、ＲＧＢカメラ１１３とデプスカメラ１１４とを備えている。ＨＭＤ１１０は、ＲＧＢカメラ１１３の実空間映像から犬像を検出するとともに、デプスカメラ１１４によって犬像の位置の三次元位置情報を取得し、表示部１１２において、犬像の前に目標オブジェクト５を付加する。デプスカメラ１１４は、検出範囲内で常時ユーザＤの各所の三次元位置情報を取得している。ＨＭＤ１１０は、さい銭を投げるとき、表示部１１２において、さい銭を投げる動作をする掌にさい銭のアイテムオブジェクト３を付加する。そして、ユーザＤがさい銭を投げる動作をしたときには、デプスカメラ１１４でさい銭を投げる動作をした腕の掌等を追跡することで位置の変化を検出し、検出したユーザ動作情報に従って、表示部１１２において、飛翔しているさい銭のアイテムオブジェクト３を付加する。

　ＨＭＤ１１０は、アイテムオブジェクト３のアイテム位置が目標オブジェクト５の目標位置と重なったとき、さい銭箱にさい銭が入ったと判断する。アイテム位置が目標位置と重ならなかったとき、ＨＭＤ１１０は、さい銭がさい銭箱に入らなかったと判断する。アイテムの課金は、アイテム位置が目標位置と重なりさい銭がさい銭箱に入ったときに行うようにしてもよい。また、さい銭がさい銭箱に入るまでは、追加の課金をすることなく繰り返しさい銭が投げられるようにしてもよい。目標オブジェクト５が表示される目標位置は、さい銭箱の大きさと完全に一致していてもよいし、完全に一致していなくてもよい。一例として、さい銭箱が置かれる目標位置は、さい銭箱の目標オブジェクトの大きさより若干大きく設定する。これにより、さい銭のアイテムオブジェクト３は目標オブジェクト５と若干重ならない場合であっても、さい銭箱にさい銭が入ったことにすることができる。第１実施形態のアイテム課金は営利を目的としたものであるが、第２実施形態におけるアイテム課金は非営利であり、ユーザの善意や宗教心によるものである。したがって、アイテムオブジェクト３は目標オブジェクト５に対して入り易く設定することが好ましい。犬像そのものが目標オブジェクト５に設定されている場合は、さい銭のアイテムオブジェクト３が目標オブジェクト５に当たっとき、寄付が成功したと判断するようにしてもよい。

　また、ユーザＥのユーザ端末１４０は、上述したユーザ端末７０と同様な構成有したスマートデバイスであるが、更に、ＲＧＢカメラ１１３とデプスカメラ１１４とを備えている。ユーザＥは、ユーザ端末１４０のＲＧＢカメラ１１３で犬像を撮像しながら実空間映像を表示部に表示する。そして、ユーザ端末１４０はＲＧＢカメラ１１３の実空間映像から犬像を検出するとともに、デプスカメラ１１４によって犬像の位置の三次元位置情報を取得し、犬像の前に目標オブジェクト５を付加する。さい銭を投げるときには、ユーザＥは目標オブジェクト５の方向へなぞるスワイプ操作を行う。これにより、ユーザ端末１４０は、スワイプ操作に基づくユーザ動作情報に従って、アイテムオブジェクト３を付加する。すなわち、ユーザ端末１４０は、表示部に、さい銭のアイテムオブジェクト３がさい銭箱の目標オブジェクト５の方向に飛翔していく状態を表示する。そして、ユーザ端末１４０は、アイテムオブジェクト３のアイテム位置が目標オブジェクト５の目標位置と重なったとき、さい銭箱にさい銭が入ったと判断する。また、アイテム位置が目標位置と重ならなかったとき、さい銭がさい銭箱に入らなかったと判断する。さい銭がさい銭箱が入ったかどうかの判断は、ＨＭＤ１１０の場合と同様である。

　表示制御システムでは、更にさい銭を管理するサーバ１３０を備えている。ＨＭＤ１１０は、さい銭を購入したとき、又は、さい銭箱にさい銭が入ったとき、課金信号をサーバ１３０に送信する。サーバ１３０は、ユーザＩＤに関連付けて課金金額を管理しており、課金信号に応じてユーザＩＤごとの課金金額を算出する。さい銭は、最終的に祭祀施設を運営する宗教法人等の団体に振り込まれる。

　上記表示制御システムによれば、以下に列挙する効果を得ることができる。
　（１）ユーザＤ，Ｅは、実際に犬像の目前に行かなくても、仮想的に、若干離れた位置からさい銭をさい銭箱に投げることができる。したがって、参拝時間の短縮を実現することができる。

　（２）ユーザが管理するユーザ端末だけで、目標オブジェクト５を設定し、アイテムを目標オブジェクト５にめがけて投げることができる。すなわち、第１実施形態におけるスタジオ１０における設備（マイク１１、ＲＧＢカメラ１２、デプスカメラ１３、スタジオモニタ１４、スピーカ１５、制御装置１７、配信者端末１８等）を省略することができる。

　（３）表示制御システムでは、管理人が不要なさい銭箱を仮想的に設置し仮想のコインを投げるだけである。すなわち、実際にさい銭をさい銭箱に投げるわけではない。したがって、さい銭箱内のさい銭が不心得者によって持ち去られることを防ぐことができる。また、偽造のコインが使用されることを防ぐことができる。このようなことから、犬像の前で行う非営利な集金活動の運営コストを下げることができ、継続的な活動が可能となる。

　（４）実際にさい銭をさい銭箱に投げるわけではないので、実際のさい銭箱のようにさい銭の回収作業が不要となる。
　なお、上記ライブ配信システムは、以下のように適宜変更して実施することもできる。

　・第１実施形態において、配信者Ｘが装着するハプティクスデバイス１６は省略してもよい。アイテムが配信者Ｘの目標部に入ったかは、スタジオモニタ１４や配信者端末１８で視覚的に確認できるからである。

　・第１実施形態における素性データベース４２は、第２実施形態においても適用することができる。また、第１実施形態及び第２実施形態において、素性データベース４２は省略してもよい。また、素性データベース４２で管理する素性パラメータは、目標部素性パラメータ及びアイテム素性パラメータの何れか少なくとも一方の素性パラメータを管理しているだけでもよい。

　・第１実施形態において、配信者Ｘの動きの追跡や目標オブジェクト５が設定されている目標部（実物体のコップ、バケツ、配信者Ｘの掌等）の追跡は、デプスカメラ１３によって三次元位置情報をして追跡しているが、デプスカメラ１３を省略してＲＧＢカメラ１２だけで行うようにしてもよい。一例として、目標部の検出は、ディープラーニングを利用したＡＩによってライブ映像から目標部を検出する検出精度を高めることができる。

　・更にまた、モーションキャプチャ処理におけるモーション（骨格および各骨格の動き＝動作）の検出認識処理については、ＲＧＢカメラ１２からの映像をディープラーニング等による学習結果に基づく認識処理にかけることで実施するようにしてもよい。

　・ユーザによる特定の動作（例えばアイテムを投げる動作、又、どの方向へ、どの程度の強さで投げたのか）は、スマートウォッチ６０の検出部やスマートデバイス端末７０ａの検出部による検出結果に基づいて判定（検出）するものに限定されない。例えばカメラで取得した映像に基づいて、フレーム間差分や動きベクトルを算出して、判定するようにしてもよい。

　・第１実施形態において、第１特別期間や第２特別期間等の特別期間は設けなくてもよい。この場合、ユーザ端末でライブ配信映像を視聴している時間の間アイテムを目標部に入れることができる。また、第２実施形態において、特別期間を設けるようにしてもよい。

　・目標部としては、予め設定された１種類の実物体だけであってもよい（例えば実物体のコップだけとしたり、実物体のバケツだけとする）。また、目標部としては、予め設定された１種類の仮想体だけであってもよい（例えば仮想体のコップだけとしたり、実物体のバケツだけとする）。さらに、アイテムとしても、予め設定された１種類のアイテムだけでもよい（例えばコインだけとしたり、宝石だけとする。）。また、第２実施形態は、目標部のさい銭箱に対してさい銭を投げる状況が決まっている。したがって、目標部は、予めさい銭箱に設定されていてもよく、アイテムは、コインに予め設定されていてもよい（ユーザＤ，Ｅはアイテムの種類を選択できない。）。

　・また、特別期間はライブ配信中に限定されるものではない。一例として、初詣の期間において、神社等の祭祀施設は混雑する。そこで、混雑時には、目標部となるさい銭箱を大きくするようにしてもよい。

　・第１実施形態において、ユーザ端末が視聴可能な映像はライブ配信に限定されるものではない。一例として、サーバ４０は、配信者Ｘが撮影済みの映像（目標オブジェクト５が付加された映像）を配信時刻になると、ユーザ端末で視聴可能な状態とし、配信時刻以降において、ユーザがユーザ端末でアクセスすると、ユーザ端末で配信映像を視聴できるようにする。そして、ユーザは、ユーザ端末でアイテムを目標部に投げることができる。この場合、配信終了時刻なることで配信は停止される。

　・第１実施形態において、サーバ４０が行う処理は、エッジサーバに分散させるようにしてもよい。
　・表示制御プログラムは、ネットワークを通じて、または、光ディスクや半導体メモリ等の可搬性記録媒体を通じてコンピュータにインストールされる。

　１…ライブ配信システム、２…ネットワーク、３…アイテムオブジェクト、４…ライブ配信映像、４ａ…ライブ映像、５…目標オブジェクト、５ａ…コップ、５ｂ…バケツ、６…机、７…一覧オブジェクト、８…アイテム選択オブジェクト、９…照明、１０…スタジオ、１１…マイク、１２…ＲＧＢカメラ、１３…デプスカメラ、１４…スタジオモニタ、１５…スピーカ、１６…ハプティクスデバイス、１６ａ…アクチュエータ、１７…制御装置、１８…配信者端末。

Claims

　実空間の三次元位置情報を取得する取得部と、
　前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定する設定部と、
　映像における前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記映像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテムのアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御部と
　を備える表示制御システム。
　前記表示制御システムは、被写体が存在する前記実空間の前記映像を配信する配信部を更に備え、
　前記映像に対して、前記目標オブジェクト及び前記アイテムオブジェクトを付加する
　請求項１に記載の表示制御システム。
　前記表示制御部は、前記被写体の移動に連動して前記目標オブジェクトを移動させる
　請求項２に記載の表示制御システム。
　前記目標部は、前記アイテムの入れ物であり、
　前記表示制御部は、前記アイテム位置が前記目標部の位置と重なった場合に、前記アイテムオブジェクトを前記目標オブジェクトに入ったように表示させる
　請求項１又は２に記載の表示制御システム。
　前記アイテムを前記目標部が受け入れる特別期間を管理する期間管理部を備え、
　前記表示制御部は、前記特別期間に、前記アイテム位置が前記目標部の位置と重なった場合に、前記アイテムオブジェクトを前記目標オブジェクトに入ったように表示させる
　請求項１または２に記載の表示制御システム。
　前記目標部は、前記実空間に存在する実物体であって、
　前記目標部の位置は、前記実空間における前記実物体の位置に設定され、
　前記目標オブジェクトは、前記実物体に対応したオブジェクトである
　請求項１又は２に記載の表示制御システム。
　前記目標部は、前記実空間に存在しない仮想体であって、
　前記目標部の位置は、前記実空間に設定され、
　前記目標オブジェクトは、前記仮想体に対応したオブジェクトである
　請求項１又は２に記載の表示制御システム。
　前記目標部は、被写体又は被写体の一部であり、
　前記目標部の位置は、被写体又は被写体の一部に設定される
　請求項２に記載の表示制御システム。
　前記設定部は、前記目標部の選択候補群の中から選択された選択目標部を前記目標部に設定し、
　前記表示制御部は、前記映像に対して、前記目標部に対応する前記目標オブジェクトを付加する
　請求項１又は２に記載の表示制御システム。
　前記取得部は、デプスカメラで検出した深度情報に基づいて前記三次元位置情報を取得する
　請求項１に記載の表示制御システム。
　前記取得部は、ＲＧＢカメラで撮像した映像に基づいて前記三次元位置情報を取得する
　請求項２に記載の表示制御システム。
　前記目標部の素性を示す目標部素性パラメータを管理する素性データベースを備え、
　前記表示制御部は、前記目標部素性パラメータに従って前記目標オブジェクトを前記映像に対して付加する
　請求項１に記載の表示制御システム。
　前記アイテムの素性を示すアイテム素性パラメータを管理する素性データベースを備え、
　前記表示制御部は、前記アイテム素性パラメータに従って前記アイテムオブジェクトを前記映像に対して付加する
　請求項１に記載の表示制御システム。
　前記被写体としての人物に装着されるハプティクスデバイスを制御するハプティクス制御部を備え、
　前記ハプティクス制御部は、前記目標部の素性を示す目標部素性パラメータ及び前記アイテムの素性を示すアイテム素性パラメータのうちの少なくとも何れか１つのパラメータに従って前記ハプティクスデバイスを制御する
　請求項２に記載の表示制御システム。
　取得部が、実空間の三次元位置情報を取得し、
　設定部が、前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定し、
　表示制御部が、前記実空間に相当する映像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記映像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する
　表示制御方法。
　コンピュータに、
　設定部が、実空間におけるアイテムを受け入れる目標部の位置を前記実空間の三次元位置情報で特定し当該位置に前記目標部を設定し、表示制御部が、前記実空間に相当する映像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記映像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御方法
　を実行させる表示制御プログラム。