JP7469977B2 - コンピュータプログラム、情報処理方法及び情報処理装置 - Google Patents

Description

本技術は、コンピュータプログラム、情報処理方法及び情報処理装置に関する。

ライブ施設におけるライブをインターネット等の通信ネットワークを介して、リアルタイム中継することにより、ライブ動画を共有するサービスが知られている。

特許文献１には、全周カメラと、前記全周カメラで撮影された全周動画を取得して時系列の全周フレーム画像データを生成する全周画像生成手段と、前記全周フレーム画像データから通信端末装置において実時間でストリーミング再生可能な形式の全周動画データを生成する全周動画データ生成手段と、前記全周動画データを、前記通信端末装置に配信するライブ配信用サーバと、前記ライブ配信用サーバから配信された前記全周動画データを実時間でストリーミング再生し、ユーザによる視線の指示に応じた範囲の動画映像を表示する全周動画ライブ再生手段と、を備える全周動画ライブ配信システムが開示されている。特許文献１に記載の技術によれば、ユーザが全周動画をライブで視聴することができる。

特開２０１３－１６１３６０号公報

しかしながら、自宅等でライブ動画を視聴するユーザにとっては、視聴者間、あるいはライブ出演者とのコミュニケーションが十分でなく、ユーザがライブ動画で十分な満足度を得られない場合がある。また、出演者側にとっても、どのようなユーザがライブ動画を視聴しているのかが分からないという問題がある。

本開示の目的は、ライブ動画の視聴におけるユーザの満足度を向上させることが可能なコンピュータプログラム等を提供することである。

本開示の一態様に係るコンピュータプログラムは、ライブ施設におけるライブ動画の配信指示を取得し、所定の座席券に関連付けられる複数のユーザが参加可能なＢＯＸルームへの参加要求を取得し、取得した前記配信指示及び参加要求に基づき、前記ライブ動画と、前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を含むＢＯＸルーム画像とを含む画面を表示部に表示する処理をコンピュータに実行させる。

本開示の一態様に係るコンピュータプログラムは、ライブ施設におけるライブ動画を視聴するユーザに係る座席券に関する情報を取得し、前記ライブ動画の視聴中における所定の座席券に関連付けられる複数のユーザが参加可能なＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を取得し、取得した前記座席券に関する情報と、前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係る前記ユーザ画像とを関連付けて前記ライブ施設内の出力装置に出力する処理をコンピュータに実行させる。

本開示の一態様に係る情報処理方法は、ライブ施設におけるライブ動画の配信指示を取得し、所定の座席券に関連付けられる複数のユーザが参加可能なＢＯＸルームへの参加要求を取得し、前記ライブ動画を取得し、前記ライブ動画の視聴中における前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を取得し、取得した前記配信指示及び参加要求に基づき、前記ライブ動画と、前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を含むＢＯＸルーム画像とを含む画面情報を生成し、生成した前記画面情報を出力する。

本開示の一態様に係る情報処理装置は、ライブ施設におけるライブ動画の配信指示を取得する第１取得部と、所定の座席券に関連付けられる複数のユーザが参加可能なＢＯＸルームへの参加要求を取得する第２取得部と、前記ライブ動画を取得する第３取得部と、前記ライブ動画の視聴中における前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を取得する第４取得部と、前記第１取得部が取得した配信指示及び前記第２取得部が取得した参加要求に基づき、前記第３取得部が取得したライブ動画と、前記第４取得部が取得した前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を含むＢＯＸルーム画像とを含む画面情報を生成する生成部と、前記生成部が生成した画面情報を出力する出力部とを備える。

本開示によれば、ライブ動画の視聴におけるユーザの満足度を向上させることができる。

第１実施形態における動画配信システムの概要図である。 情報処理装置の構成を示すブロック図である。 ユーザ情報ＤＢのレコードレイアウトを例示する説明図である。 ライブ動画ＤＢのレコードレイアウトを例示する説明図である。 座席券情報ＤＢのレコードレイアウトを例示する説明図である。 中継装置等の構成を示すブロック図である。 端末装置の構成を示すブロック図である。 動画配信システムにて実行される処理手順の一例を示すフローチャートである。 動画配信システムにて実行されるライブ動画配信に係る処理手順の一例を示すフローチャートである。 動画配信システムにて実行されるライブ動画配信に係る処理手順の一例を示すフローチャートである。 端末装置の表示部に表示される表示画面の一例を示す図である。 出力装置のモニタに表示されるモニタ画面の一例を示す図である。 第３実施形態における動画配信システムにて実行される処理手順の一例を示すフローチャートである。 第４実施形態における学習モデルの概要図である。 第４実施形態における動画配信システムにて実行される処理手順の一例を示すフローチャートである。 第４実施形態における出力装置のモニタに表示されるモニタ画面の一例を示す図である。 第５実施形態における動画配信システムにて実行される処理手順の一例を示すフローチャートである。

本発明をその実施の形態を示す図面を参照して具体的に説明する。

（第１実施形態）
図１は、第１実施形態における動画配信システム１００の概要図である。動画配信システム１００は、ライブ動画を配信する情報処理装置１と、複数のライブ施設２内に設置される撮影装置２１及び出力装置２２と接続される中継装置２３と、ライブ動画を視聴する複数ユーザの端末装置３とを含む。情報処理装置１は、出力装置２２及び端末装置３それぞれとの間で、インターネット等のネットワークＮを介して情報の送受信が可能である。

情報処理装置１は例えば、動画配信サービスの提供者によって管理される、サーバコンピュータである。情報処理装置１は、各ライブ施設２で撮影されたライブ動画を取得し、取得したライブ動画をストリーミング形式で端末装置３へ配信する動画配信サーバとして機能する。また情報処理装置１は、ライブ動画を視聴するユーザの端末装置３から取得したユーザ画像を、他のユーザの端末装置３や、ライブ施設２内の出力装置２２へ配信するユーザ画像配信サーバとして機能する。

動画配信システム１００により配信されるライブ動画とは、例えば、ライブ施設２において行われるライブ、音楽コンサート、演劇、スポーツの試合等を撮影した動画データである。ライブ動画は、例えば美術館、水族館等におけるガイドツアー等を撮影した動画データであってもよい。ライブ動画は、ライブ施設２において撮影されリアルタイムでストリーミング形式にて配信される。情報処理装置１は、各ライブ施設２から取得した多数のライブ動画を管理し、各ユーザの希望に応じたライブ動画を端末装置３へ配信する。

各ライブ施設２には、撮影装置２１、出力装置２２及び中継装置２３が備えられている。撮影装置２１は、例えばＣＣＤ(Charge Coupled Device)イメージセンサ等の撮像素子及びレンズ等を有するカメラである。撮影装置２１は、レンズを介して入射した光を撮像素子にて光電変換し、画像データとして出力する。撮影装置２１は、連続して撮影した複数の画像データからなる動画データを生成する。また、撮影装置２１は、マイクロフォン等の音声入力デバイスを備え、ライブ施設２における音声を集音する。撮影装置２１は、画像データ及び音声データの時間軸を合わせた音声付きのライブ動画を取得する。ライブ動画は、例えばフルハイビジョン等の、高い解像度にて撮影されることが好ましい。撮影装置２１は、例えばライブ施設２内の座席に設置され、ライブ中におけるライブ動画を取得する。撮影装置２１は、撮影方向（パン・チルト角度）を変更することができ、ユーザの要求に応じた視線方向のライブ動画を撮影する。撮影装置２１は、ユーザの所有する座席券の座席番号に応じて、ライブ施設２内の異なる位置に複数台設置されてよい。撮影装置２１は、座席に設置されるものに限定されず、美術館のガイドツアー等の場合においては、撮影者により把持され、場所を移動しながらライブ施設２内を撮影するものであってよい。

出力装置２２は、例えば大型ディスプレイ、大型スクリーン、プロジェクタ等のモニタ２２２及びスピーカ２２３等を備える装置である（図６参照）。出力装置２２は、ライブ施設２内において出演者から視認可能な位置に設けられ、ライブ動画を視聴するユーザの画像、音声等を出演者に対して出力する。出力装置２２は、例えばスマートフォン、タブレット端末等の可搬型の装置であってもよい。

中継装置２３は、例えばサーバコンピュータ、パーソナルコンピュータ等である。中継装置２３は、有線又は無線により撮影装置２１及び出力装置２２それぞれと接続されており、ネットワークＮを介した情報処理装置１と撮影装置２１及び出力装置２２との間の通信を中継する。中継装置２３は、例えばルータ、ゲートウェイ等であってもよい。中継装置２３は、撮影装置２１から入力される画像データを情報処理装置１へ送信する。中継装置２３は、情報処理装置１から受信した画像又は音声を含む情報を出力装置２２へ出力する。

端末装置３はそれぞれ、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等の情報端末装置である。動画配信サービスを利用するユーザは、端末装置３を用いて情報処理装置１から配信されるライブ動画を鑑賞することができる。ユーザはまた、端末装置３を用いて、ライブ動画を同時に視聴する他のユーザや、ライブ施設２の出演者に対し、ユーザ自身を撮影したユーザ画像やユーザ音声を情報処理装置１により配信することができる。

動画配信システム１００における動画配信サービスでは、ライブ動画の視聴を希望するユーザは、予め座席券を購入する。座席券は、例えば、ライブ施設２の座席番号毎に販売される。座席券は、座席位置や、座席カテゴリ等に応じて複数の種類に分けられ、それぞれの種類に応じた価格で販売されている。例えば、座席の種類には、一人につき一席が用意される一般席や、グループシート・カップルシート等、複数人で利用可能なＢＯＸ席が含まれている。ＢＯＸ席の座席券を購入したユーザは、ライブ動画の配信時に、端末装置３を用いて同一のＢＯＸ席のグループメンバーであるＢＯＸルームユーザのみが参加可能なＢＯＸルームに参加し、ライブ動画を視聴することができる。ＢＯＸルーム（グループルーム）とは、端末装置３の表示画面にて提供される、限定されたＢＯＸルームユーザ間の画像やチャットボードを含むコミュニケーション空間であり、仮想的に生成されるＢＯＸ席である。

上述のように動画配信システム１００では、ネットワークＮを介したライブ動画の配信において、ユーザ同士のコミュニケーションが可能なＢＯＸルームを提供することで、離れた場所でライブ動画を視聴するユーザ間におけるコミュニケーションを促進することができる。また、ライブ施設２内に設置される出力装置２２を用いて、ユーザからのリアクションをリアルタイムで出演者へ表示する。出演者は、ユーザのリアクションを見ながらライブを進行することができ、ユーザのリアクションに応じた発信が可能となる。従って、ユーザ同士に加え、ユーザ及び出演者間におけるコミュニケーションが可能となり、双方における満足度を向上することができる。

このような動画配信システム１００の構成及び詳細な処理内容について以下に説明する。

図２は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、制御部１０、記憶部１１及び通信部１２を備える。情報処理装置１は説明を容易にするために１台のサーバコンピュータとして説明するが、複数のサーバコンピュータで処理又は機能を分散させた構成とすることが好ましく、複数のサーバコンピュータをネットワークで接続して構築されるクラウドサーバであることが好ましい。

制御部１０は、一又は複数のＣＰＵ（Central Processing Unit ）又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサであり、内蔵するＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを用い、各構成部を制御して処理を実行する。

通信部１２は、ネットワークＮを介した通信を実現する通信デバイスである。制御部１０は、通信部１２を介して撮影装置２１からライブ動画データを取得する。制御部１０は、通信部１２を介して出力装置２２へユーザのリアクションに関する情報を出力する。制御部１０は、通信部１２を介して端末装置３へライブ動画を配信する。

記憶部１１は、ハードディスク、ＳＳＤ（Solid State Drive ）等の記憶装置を含む。記憶部１１には、プログラム１Ｐを含む制御部１０が参照するプログラム及びデータが記憶されている。制御部１０は、プログラム１Ｐに基づき、後述するライブ動画及びユーザ画像等の配信に関する処理を実行する。

記憶部１１に記憶されるプログラム１Ｐは、当該プログラム１Ｐを読み取り可能に記録した非一時的な記録媒体１Ａにより提供されてもよい。記録媒体１Ａは、例えば、ＣＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。この場合、制御部１０は、不図示の読取装置を用いて記録媒体１Ａからプログラム１Ｐを読み取り、読み取ったプログラム１Ｐを記憶部１１に記憶する。また、記憶部１１に記憶されるプログラム１Ｐは、通信部１２を介した通信により提供されてもよい。この場合、制御部１０は、通信部１２を通じてプログラム１Ｐを取得し、取得したプログラム１Ｐを記憶部１１に記憶する。なお記憶部１１は、複数の記憶装置により構成されていてもよく、情報処理装置１に接続された外部記憶装置であってもよい。

また、記憶部１１には、ユーザ情報ＤＢ（Data Base ：データベース）１１１、ライブ動画ＤＢ１１２、座席券情報ＤＢ１１３等が記憶されている。記憶部１１には、学習モデル１Ｍが記憶されていてもよい。学習モデル１Ｍについては、他の実施形態で詳述する。

図３は、ユーザ情報ＤＢ１１１のレコードレイアウトを例示する説明図である。ユーザ情報ＤＢ１１１は、動画配信サービスのユーザに関するユーザ情報を格納するデータベースである。ユーザ情報ＤＢ１１１には、複数のユーザそれぞれのユーザＩＤ、氏名、住所、年齢、ユーザが使用する端末装置３を識別する端末装置情報（例えばＩＰアドレス等）、クレジットカード番号、座席券・商品等の購入履歴等の情報が対応付けられて格納されている。ユーザ情報は、ユーザが初めて動画配信サービスを利用する際に情報処理装置１にて提供される登録用の画面を用いて収集される。ユーザは端末装置３に表示される登録用の画面上において、ユーザに対して発行されているアカウント情報に対応させてユーザ情報を登録することができる。また、ユーザ情報は、ユーザアカウント情報に対応させて座席券・商品等が購入される都度、記録される。ユーザ情報ＤＢ１１１の記憶内容は図３に示す例に限定されない。

図４は、ライブ動画ＤＢ１１２のレコードレイアウトを例示する説明図である。情報処理装置１は、中継装置２３を介して取得した各ライブ施設２におけるライブ動画をライブ動画ＤＢ１１２に記録している。ライブ動画ＤＢ１１２には、ライブ動画を識別するライブ動画ＩＤ、動画データ、ライブを識別するライブ識別情報（例えばライブＩＤ、ライブ名称及び開催日時等）、ライブ動画を撮影する撮影装置２１を識別する撮影装置情報（例えば装置の固有アドレス）、ライブ動画の配信開始時刻及び終了時刻を含む配信日時等が対応付けられて格納されている。ライブ動画ＤＢ１１２の内容は、随時更新される。ライブ動画ＤＢ１１２の記憶内容は図４に示す例に限定されない。

図５は、座席券情報ＤＢ１１３のレコードレイアウトを例示する説明図である。座席券情報ＤＢ１１３は、ユーザの購入した座席券に関する情報を格納するデータベースである。座席券情報ＤＢ１１３には、座席券情報を識別する座席券ＩＤ、ライブを識別するライブ識別情報（例えばライブＩＤ、ライブ名称及び開催日時等）、座席番号、座席券の購入者に関する情報（例えばユーザＩＤ）、座席券の購入日、座席数、招待者に関する情報（例えばユーザＩＤ）、ライブ動画ＩＤ等が対応付けられて格納されている。座席数とは、１つの座席番号に含まれる座席の数であり、１枚の座席券で同時にライブ動画を視聴することのできるユーザの人数に相当する。招待者とは、座席券の購入者からライブ動画の視聴に招待されたユーザであり、当該座席券の利用を許可されたユーザである。ライブ動画ＩＤとは、座席券ＩＤに対応するライブ動画を識別する識別情報であり、当該座席券ＩＤの座席に設置された撮影装置２１により撮影されるライブ動画のライブ動画ＩＤが含まれる。

座席券情報は、例えば座席券販売会社のサーバ装置又は購入者の端末装置３等と通信を行うことにより、ユーザアカウントに対応付けて座席券が販売される都度、記録される。ＢＯＸ席の座席券を購入したユーザ（購入者）は、購入後、座席券の種類毎に設定される座数に応じた招待可能枠の範囲内で、他のユーザ（招待者）を招待することができる。情報処理装置１は、購入者の端末装置３等を介して招待者に関する情報を収集し、座席券情報ＤＢ１１３に記録する。座席券情報ＤＢ１１３の記憶内容は図５に示す例に限定されない。

図６は、中継装置２３等の構成を示すブロック図である。中継装置２３は、制御部２３０、記憶部２３１、通信部２３２及び入出力部２３３を備える。

制御部２３０は、一又は複数のＣＰＵ又はＧＰＵを用いたプロセッサであり、内蔵するＲＯＭ及びＲＡＭ等のメモリを用い、各構成部を制御して処理を実行する。記憶部２３１は、ハードディスク、ＳＳＤ等の記憶装置を含む。記憶部２３１には、制御部２３０が参照するプログラム及びデータが記憶されている。

通信部２３２は、ネットワークＮを介した通信を実現する通信デバイスである。制御部２３０は、通信部２３２を介して情報処理装置１へライブ動画を出力すると共に、情報処理装置１から出力装置２２へ出力する画像データ、音声データ等を取得する。

入出力部２３３は、撮影装置２１及び出力装置２２をそれぞれ接続する入出力インタフェースである。入出力部２３３と、撮影装置２１及び出力装置２２それぞれとの間の接続は有線であってもよく、無線であってもよい。撮影装置２１により撮影された画像データ及び音声データは、不図示のエンコーダを介し、入出力部２３３へ入力される。エンコーダは、撮影装置２１から入力されたライブ動画を、リアルタイムで圧縮・符号化して、インターネット配信に適した動画データを生成する。制御部２３０は、入出力部２３３を通して撮影装置２１から得られる信号を取得する。制御部２３０は、ユーザの操作による撮影方向の変更指示に関する信号を情報処理装置１から取得した場合、当該信号を入出力部２３３を通して撮影装置２１へ出力する。また、制御部２３０は、入出力部２３３を通して情報処理装置１から取得した画面データ、音声データ等を出力装置２２へ出力する。出力装置２２は、モニタ２２２へ画面を表示する共に、スピーカ２２３により音声を出力する。

上記では、撮影装置２１及び出力装置２２は中継装置２３を介して情報処理装置１と通信する例を説明したが、本実施形態は限定されるものではない。撮影装置２１及び出力装置２２はそれぞれ通信機能を備え、中継装置２３を介することなくネットワークＮを通して情報処理装置１とデータの送受信を行うものであってよい。

図７は、端末装置３の構成を示すブロック図である。端末装置３は、制御部３０、記憶部３１、通信部３２、表示部３３、操作部３４、音声入力部３５、音声出力部３６、撮影部３７を備える。

制御部３０は、ＣＰＵ又はＧＰＵ等のプロセッサと、メモリ等を含む。制御部３０は、プロセッサ、メモリ、記憶部３１、及び通信部３２を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。制御部３０は、記憶部３１に記憶されているプログラム３Ｐに基づき、各構成部を制御して処理を実行する。

記憶部３１は、例えばフラッシュメモリ等の不揮発性メモリを含む。記憶部３１には、プログラム３Ｐを含む制御部３０が参照するプログラム及びデータが記憶されている。制御部３０は、プログラム３Ｐに基づき、後述するライブ動画及び画面情報の受信、ユーザ画像の送信等に関する処理を実行する。

記憶部３１に記憶されるプログラム３Ｐは、当該プログラム３Ｐを読み取り可能に記録した非一時的な記録媒体３Ａにより提供されてもよい。この場合、制御部３０は、不図示の読取装置を用いて記録媒体３Ａからプログラム３Ｐを読み取り、読み取ったプログラム３Ｐを記憶部３１に記憶する。また、記憶部３１に記憶されるプログラム３Ｐは、通信部３２を介した通信により提供されてもよい。この場合、制御部３０は、通信部３２を通じてプログラム３Ｐを取得し、取得したプログラム３Ｐを記憶部３１に記憶する。

通信部３２は、公衆通信網又はキャリアネットワークを含むネットワークＮを介した情報処理装置１との通信を実現する通信デバイスである。制御部３０は、通信部３２を介し、情報処理装置１から画面情報を取得すると共に、ユーザの画像データ、音声データを情報処理装置１へ出力する

表示部３３は、液晶パネル、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイ装置を含む。表示部３３は、制御部３０からの指示に従ってライブ動画を含む各種の情報を表示する。操作部３４は、ユーザの操作を受け付けるインタフェースであり、例えば物理ボタン、マウス、ディスプレイ内蔵のタッチパネルデバイス等を含む。操作部３４は、ユーザからの操作入力を受け付け、操作内容に応じた制御信号を制御部３０へ送出する。

音声入力部３５は、ユーザの音声情報の入力を受け付けるための音声入力デバイスであり、マイクロフォン等を用いる。音声入力部３５は、音波を音声データに変換し、変換した音声データを制御部３０に与える。音声出力部３６は、音声を再生するための音声出力デバイスであり、スピーカ等を用いる。音声出力部３６は、制御部３０からの音声出力制御に従い、音声データを音波に変換して出力する。

撮影部３７は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）、又はＣＣＤ（Charge Coupled Device ）等のイメージセンサを備えた撮影装置である。撮影部３７は、制御部３０の制御指示に基づき、ユーザの静止画又は動画を含むユーザ画像を撮影する。

図８は、動画配信システム１００にて実行される処理手順の一例を示すフローチャートである。例えば上述したようにユーザ情報の登録が済んでいる状態で、購入者又は招待者であるユーザが端末装置３を用いてプログラム３Ｐを選択し、アカウント情報を用いてログインすると、端末装置３の制御部３０及び情報処理装置１の制御部１０が以下の処理を実行する。

端末装置３の制御部３０は、プログラム３Ｐに従って、ライブ動画配信サービスに係る受付画像を表示部３３に表示する（ステップＳ１１）。受付画像には、例えば配信を希望するライブ動画に関するライブ識別情報、座席番号及びパスコード等の入力欄と、配信指示を受け付けるための配信ボタンとが含まれている。ライブ動画の視聴に際し、ユーザは予め座席番号及びパスコード等が記載された座席券を購入する。ＢＯＸ席の座席番号を有する座席券を購入したユーザ（購入者）は、購入後、当該座席券の席数に応じた人数の他ユーザ（招待者）に対し、例えば座席番号及びパスコード等を付した招待メールを送信することにより、ＢＯＸ席へ招待する。招待者は、招待メールを受信し、座席番号及びパスコードを取得する。

なお、座席番号及びパスコードの通知方法は限定されるものではない。例えば、情報処理装置１又は座席券販売会社等のサーバ装置から座席券の購入者又は招待者の端末装置３へ、座席番号及びパスコードを取得するためのＵＲＬ等のリンク先情報が送信されてもよい。又は、情報処理装置１又は座席券販売会社等のサーバ装置から座席券の購入者又は招待者の端末装置３へ、ライブ動画ＩＤ、ユーザＩＤ及び座席券ＩＤ等を埋め込んだＵＲＬ等のリンク先情報が送信されてもよい。

制御部３０は、受付画像を用いてユーザの操作部３４の操作を受け付け、ライブ識別情報、座席番号、パスコード等を含むライブ動画の配信指示を取得する（ステップＳ１２）。制御部３０は、端末装置３の識別情報、ライブ識別情報、座席番号及びパスコード等を含むライブ動画の配信指示を情報処理装置１へ送信する（ステップＳ１３）。

情報処理装置１の制御部１０は、端末装置３の識別情報、ライブ名称、座席番号及びパスコード等を含むライブ動画の配信指示を受信する（ステップＳ１４）。制御部１０は、配信指示を取得する第１取得部として機能する。制御部１０は、ユーザ情報ＤＢ１１１を参照して、ログインに係る端末装置３の識別情報に関連付けられるユーザＩＤを取得する（ステップＳ１５）。また制御部１０は、座席券情報ＤＢ１１３を参照して、ライブ識別情報及び座席番号に関連付けられる座席券ＩＤを特定し（ステップＳ１６）、特定した座席券ＩＤに関連付けられる購入者及び紹介者のユーザＩＤを取得する。

制御部１０は、ユーザの認証処理を実行する（ステップＳ１７）。制御部１０は、取得した座席番号及びパスコードが予め記憶する認証データと一致し、且つ、ログインに係るユーザＩＤが座席券ＩＤに関連付けられる購入者又は紹介者に含まれている場合、ログインユーザを座席券の正規ユーザとして認証する。

認証しないと判定した場合（ステップＳ１７：ＮＯ）、制御部１０は処理を終了する。制御部１０は、認証不可を示す情報を端末装置３へ出力し、再度入力を受け付けるものであってもよい。

認証すると判定した場合（ステップＳ１７：ＹＥＳ）、制御部１０は、例えばＢＯＸルームへの参加ボタンを含む画面情報を生成することにより、ＢＯＸルームへの参加問い合わせを端末装置３へ送信する（ステップＳ１８）。ＢＯＸルームには、複数人で利用可能なＢＯＸ席を利用するユーザのみが参加できる。

端末装置３の制御部３０は、ＢＯＸルームへの参加問い合わせを受信し（ステップＳ１９）、参加問い合わせに基づく画面を表示部３３に表示する。制御部３０は、例えば参加ボタンの押下操作の受け付け等により、ＢＯＸルームへの参加要求を取得する（ステップＳ２０）。制御部３０は、取得した参加要求を情報処理装置１へ送信する（ステップＳ２１）。

情報処理装置１の制御部１０は、ＢＯＸルームへの参加要求を受信する（ステップＳ２２）。制御部１０は、参加要求を取得する第２取得部として機能する。制御部１０は、参加要求を受信したユーザＩＤのユーザを、座席番号のＢＯＸルームのＢＯＸルームユーザに追加し（ステップＳ２３）、ＢＯＸルームへの参加を許可する許可情報を端末装置３へ送信する（ステップＳ２４）。

端末装置３の制御部３０は、許可情報を受信する（ステップＳ２５）。制御部３０は、受信した許可情報を示す画面を表示部３３に表示し、一連の処理を終了する。制御部３０は、許可情報として、参加したグループのＢＯＸルーム画像を表示部３３に表示してもよい。

上述の処理において、ライブ動画の配信指示及びＢＯＸルームへの参加要求はそれぞれ取得されるものに限定されず、まとめて取得されてもよい。例えば、端末装置３の制御部３０は、表示部３３に表示されるリンク先情報のクリック操作を受け付けることにより、配信指示及び参加要求を取得し、情報処理装置１へ送信する。情報処理装置１の制御部１０は、配信指示及び参加要求を取得し、リンク先情報に応じた画像を表示する。

上述の処理が実行され、ライブ施設２におけるライブが開始する。図９及び図１０は、動画配信システム１００にて実行されるライブ動画配信に係る処理手順の一例を示すフローチャートである。ライブ動画の配信対象となるライブ施設２内には、ライブ開始前に、ユーザの購入した座席券に係る座席番号の座席上に撮影装置２１が設置されている。ライブ動画の配信開始時刻になり、撮影装置２１にて撮影が開始されると、情報処理装置１の制御部１０及び端末装置３の制御部３０が以下の処理を実行する。

情報処理装置１の制御部１０は、中継装置２３を介して撮影装置２１からリアルタイムでライブ動画を受信し（ステップＳ３１）、受信したライブ動画をライブ動画ＩＤに関連付けてライブ動画ＤＢ１１２に記憶する。ライブ施設２内に撮影装置２１が複数備えられている場合においては、制御部１０は、各撮影装置２１による複数のライブ動画を取得し、それぞれのライブ動画ＩＤを関連付けて記憶する。制御部１０は、ライブ動画を取得する第３取得部として機能する。

制御部１０は、図８の処理により配信指示を取得した端末装置３へライブ動画の配信を開始する（ステップＳ３２）。端末装置３には、当該端末装置３に係る座席券ＩＤに応じたライブ動画ＩＤのライブ動画、すなわち座席番号に応じた撮影装置２１により撮影されるライブ動画が配信される。ライブ動画は、画像データ及び音声データを含み、例えばストリーミング形式の通信プロトコルによりリアルタイムで配信される。

制御部１０は、撮影装置２１から取得したライブ動画に、ＶＦＸ（Visual Effects）等の手法を用いて編集を施したライブ動画を配信してもよい。

制御部３０は、撮影部３７を介してユーザを撮影したユーザ画像の取得を開始する（ステップＳ３３）。制御部１０は、ユーザ画像を取得する第４取得部として機能する。制御部３０は、取得したユーザ画像をリアルタイムで圧縮・符号化して、インターネット配信に適したファイル形式の動画データに変換したユーザ画像を生成する。制御部３０は、生成したユーザ画像を情報処理装置１へ送信する（ステップＳ３４）。この場合において、制御部３０は、音声入力部３５により取得したユーザ音声をユーザ画像と関連付けて情報処理装置１へ送信してもよい。すなわち、ユーザ画像は、ユーザ音声を含む動画データであってよい。なお、制御部３０は、情報処理装置１等から取得する許可信号に応じて、音声入力部３５による音声入力のオン／オフを切り替えるものであってよい。

情報処理装置１の制御部１０は、ユーザ画像を受信し（ステップＳ３５）、一時的に記憶部１１に記憶する。制御部１０は、ユーザ画像の配信を開始する（ステップＳ３６）。ユーザ画像は、例えばストリーミング形式の通信プロトコルによりリアルタイムで配信される。

制御部１０は、受信したユーザ画像に基づき、ユーザの参加しているＢＯＸルームの各ＢＯＸルームユーザに係るユーザ画像を含むＢＯＸルーム画像を生成する。制御部１０は、ＢＯＸルーム画像とライブ動画とを含む画面情報を生成する（ステップＳ３７）。制御部１０は、画面情報を生成する生成部として機能する。制御部１０は、生成した画面情報を端末装置３へ送信する（ステップＳ３８）。制御部１０は、画面情報を出力する出力部として機能する。

端末装置３の制御部３０は、画面情報を受信する（ステップＳ３９）。制御部３０は、受信した画面情報に基づく表示画面３３０を表示部３３に表示する（ステップＳ４０）。画面情報と共に音声データを取得した場合には、制御部３０は、音声出力部３６により音声を出力する。

図１１は、端末装置３の表示部３３に表示される表示画面３３０の一例を示す図である。図１１に示す例にて、表示画面３３０には複数の領域が含まれ、各領域には、ライブ動画像３３１、商品購入画像３３２、チャットルーム画像３３３、ＢＯＸルーム画像３３４及びツールバー３３５等がそれぞれ表示されている。ライブ動画像３３１の表示領域には、撮影装置２１から取得したライブ動画像がリアルタイムで表示される。

商品購入画像３３２の表示領域には、ライブ動画に関する各種の商品の購入を受け付ける商品購入画像が表示される。ユーザは、商品購入画像３３２を利用して、例えばＣＤ、ライブ限定グッズ等の商品を購入することができる。商品には、デジタルコンテンツが含まれていてもよい。情報処理装置１の制御部１０は、例えばユーザＤＢ１１１を参照して、ユーザ属性や購入履歴に基づくお勧め商品を特定し、特定したお勧め商品を含む商品購入画像３３２を生成する。ユーザは、表示画面３３０を用いて、通常ライブ施設２において販売される商品を、現地に行くことなく購入することができる。

チャットルーム画像３３３の表示領域には、ＢＯＸルームユーザによるチャット画像が表示される。制御部１０は、表示画面３３０により、ＢＯＸルームへの参加を許可したＢＯＸルームユーザによるチャットルームを提供する。制御部１０は、各ＢＯＸルームユーザからチャット入力を受け付けた都度、チャットルーム画像３３３を更新する。

ＢＯＸルーム画像３３４の表示領域には、ユーザが参加するＢＯＸルームに係る画像が表示されており、各ＢＯＸルームユーザの端末装置３から取得した複数のユーザ画像が含まれている。制御部１０は、各ＢＯＸルームユーザの端末装置３からユーザ画像を取得した場合、座席券情報ＤＢ１１３を参照して、当該ユーザ画像のユーザＩＤが含まれるＢＯＸルームを特定する。制御部１０は、特定したＢＯＸルームにおけるＢＯＸルーム画像上の各ユーザＩＤが割り当てられた位置に、対応するユーザＩＤのユーザ画像をそれぞれ表示するＢＯＸルーム画像を生成する。制御部３０は、ストリーミング形式で配信されるライブ動画及びユーザ画像を含む表示画面情報を受信し表示部３３に表示する。

ツールバー３３５の表示領域には、撮影装置２１の視点操作のための操作ボタン３３６、拍手操作を受け付けるための拍手ボタン３３７、画面表示を切り替えるための切替ボタン３３８等を含むバーが表示される。端末装置３の制御部３０は、ユーザによる各ボタン操作を受け付け、受け付けた操作信号を情報処理装置１へ送信する。

ユーザは、操作ボタン３３６を操作することにより、撮影装置２１の撮影方向を右、左及び正面に変更することができる。端末装置３の制御部３０は、各方向に応じた操作ボタン３３６の操作を受け付けた場合、受け付けた操作信号を情報処理装置１へ送信する。情報処理装置１は、操作信号を受信し、中継装置２３を介して座席券ＩＤに関連付けられる撮影装置２１へと撮影方向の変更指示を出力する。撮影装置２１は、変更指示に応じて撮影方向を変更する。操作ボタンは、上下方向の操作ボタン３３６を含み、チルト操作を受け付けるものであってもよい。操作ボタン３３６により切替可能な撮影装置２１の撮影方向は、各座席の種類に応じて異なるものであってよい。例えば、情報処理装置１の制御部１０は、座席券ＩＤと、当該座席券ＩＤに係る撮影装置２１のチルト・パン角度の変更可能範囲の設定情報とを関連付けて記憶しておき、変更可能角度の範囲内で撮影装置２１の撮影方向の変更指示を出力するものであってよい。

ユーザは、切替ボタン３３８を操作することにより、ライブ動画像以外の表示領域の表示又は非表示を切り替えることができる。制御部３０は、切替ボタン３３８の押下操作を取得し、ライブ動画像の表示領域を変更し、全画面フレームにてライブ動画を表示する。切替ボタン３３８は、各表示領域に対する操作毎に複数設けられていてもよい。拍手ボタン３３７については、他の実施形態で詳述する。

ユーザは、表示画面３３０を利用して、ライブ動画の視聴を行うと共に、ユーザ間におけるコミュニケーションや買い物などを楽しむことができる。なお表示画面３３０は、上述したライブ動画像３３１、商品購入画像３３２、チャットルーム画像３３３、ＢＯＸルーム画像３３４及びツールバー３３５等を全て含む構成に限定されるものでない。

図９に戻り、説明を続ける。上述のユーザ画像は、ＢＯＸルームユーザに加え、出演者にも共有される。情報処理装置１の制御部１０は、取得した各ユーザのユーザ画像からなる画面情報を含む出力情報を生成する（ステップＳ４１）。出力情報には、ユーザ音声が含まれていてもよい。制御部１０は、生成した出力情報を中継装置２３へ送信する（ステップＳ４２）。

中継装置２３の制御部２３０は、出力情報を受信する。制御部２３０は、受信した画面情報に基づくモニタ画面を出力装置２２のモニタ２２２に表示する。

図１２は、出力装置２２のモニタ２２２に表示されるモニタ画面の一例を示す図である。図１２Ａは、ＢＯＸ席のＢＯＸルームユーザのユーザ画像を含むモニタ画面２２４の例を示す図である。図１２Ｂは、一般席のユーザのユーザ画像を含むモニタ画面２２５の例を示す図である。情報処理装置１の制御部１０は、ライブ動画の配信と並行して、ライブ動画を視聴する各ユーザの端末装置３から、リアルタイムでユーザ画像を取得する。制御部１０は、各端末装置３に関連付けられる座席券ＩＤに応じて、座席券の種類毎にユーザ画像を表示するモニタ画面情報を生成し、生成したモニタ画面を出力装置２２へ出力する。制御部１０は、モニタ画面情報と共に、モニタ画面情報に含まれるユーザ画像に対応付けて取得したユーザ音声を出力してもよい。

例えば、図１２Ａに示す如く、座席の種類がＢＯＸ席である複数のユーザ画像２２４１は、各ＢＯＸ席の座席番号のグループ単位で表示される。各ＢＯＸ席の画像２２４２には、座席番号又は座席の種類等が認識可能に対応付けられており、その他の座席種類のユーザ画像と区別して表示される。ＢＯＸ席の画像２２４２は、ＢＯＸルームで共有されるＢＯＸルーム画像であってよい。図１２Ｂに示す如く、座席の種類がＢＯＸ席以外（例えば一般席）であるユーザ画像２２５１は、一覧で表示される。一覧表示される一般席のユーザ画像それぞれには、各座席番号が対応付けられていてもよい。情報処理装置１の制御部１０又は中継装置２３の制御部２３０は、画面の切り替え指示を取得し、取得した切り替え指示に応じたＢＯＸ席又は一般席のいずれか一方のモニタ画面を表示してよい。複数のユーザ画像２２４１を含むＢＯＸ席の画像２２４２又はＢＯＸ席以外のユーザ画像２２５１は、モニタ画面上において、各ライブ施設２における各ユーザの座席位置に対応する位置にそれぞれ配置されてもよい。

ライブの出演者は、出力装置２２に表示されるユーザ画像や音声により、ネットワークＮを介してライブ動画を視聴するユーザのリアクションを取得し、また出力装置２２を介してユーザとコミュニケーションを行うことができる。ユーザ画像は、座席の種類毎に分けて表示されるため、出演者はグループ毎のメンバー構成やリアクションを容易に認識することができる。

図９に戻り、説明を続ける。情報処理装置１の制御部１０は、ライブ動画の配信を終了するか否かを判定する（ステップＳ４３）。例えばライブ動画の配信終了時刻でないことにより配信を終了しないと判定した場合（ステップＳ４３：ＮＯ）、制御部１０は、処理をステップＳ３５へ戻し、ライブ動画の配信を継続する。表示画面情報及び出力情報の生成及び送信は、ライブ動画の配信終了時まで継続的に行われる。

一方、ライブ動画の配信終了時刻であることにより配信を終了すると判定した場合（ステップＳ４３：ＹＥＳ）、制御部１０は配信の終了を端末装置３へ通知する（ステップＳ４４）。制御部１０は、ライブ動画の配信を終了し（ステップＳ４５）、一連の処理を終了する。

端末装置３の制御部３０は、配信の終了通知を取得する（ステップＳ４６）。制御部３０は、処理を終了するか否かを判定する（ステップＳ４７）。終了通知を取得しておらず、処理を終了しないと判定した場合（ステップＳ４７：ＮＯ）、制御部３０は、処理をステップＳ３４に戻す。一方、終了通知を取得したことにより、処理を終了すると判定した場合（ステップＳ４７：ＹＥＳ）、制御部３０は、ユーザ画像の送信、画面情報の受信を終了する。制御部３０は、表示画面３３０の表示を終了し（ステップＳ４８）、一連の処理を終了する。

上述の図８から図１０において、処理手順は図８から図９の例に限定されるものではない。各処理手順は、その順序を変更して実行されてもよく、また並行して複数の処理が実行されてもよい。情報処理装置１の制御部１０は、ライブ動画の配信、ユーザ画像の配信、出力情報の出力を並行して行うものであってよい。

上述の処理において、情報処理装置１の制御部１０は、ライブ動画像３３１、商品購入画像３３２、チャットルーム画像３３３、及びＢＯＸルーム画像３３４をそれぞれ表示する複数の領域を含む画面情報を生成し、送信する例を説明したが、本実施形態は限定されるものではない。制御部１０は、全ての領域に対応する画面情報を生成し、送信するものに限られず、各領域単位での画面情報をそれぞれに非同期で生成し、出力するものであってよい。

上述の処理においては、表示画面３３０が、ライブ動画の配信開始時刻から配信終了時刻の間に端末装置３の表示部３３に表示される例を説明したが、本実施形態は限定されるものではない。例えば、表示画面３３０は配信開始時刻から配信終了時刻の間以外の時間に表示され、ライブの開催前後において、ユーザによる商品の購入受け付けや、ＢＯＸルームの提供を行うものであってよい。

上述の処理によれば、ネットワークＮを介したライブ動画の視聴において、ライブ動画と共に表示される各種の情報により、ユーザの臨場感を高めることができる。ユーザ画像が配信されることにより、ユーザ同士又はユーザ及び出演者間におけるコミュニケーションを促進し、ユーザ及び出演者の満足度を向上させ得る。

（第２実施形態）
第２実施形態では、出演者及びＢＯＸルームユーザ間によるファン交流を提供する構成を説明する。以下では、第２実施形態について、第１実施形態と異なる点を説明する。後述する構成を除く他の構成については第１実施形態の動画配信システム１００と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

第２実施形態の情報処理装置１は、ライブ動画として、全ての観客に対するライブ映像とは別に、出演者との特別交流が可能なファンサービスに関するライブ動画を配信する。ファンサービスは、例えば、ライブ終了後に行われ、所定の座席番号の座席券を利用するＢＯＸルームユーザのみが参加することができる。情報処理装置１の制御部１０は、予め座席券ＩＤと、ファンサービス動画の配信の有無とを関連付けて記憶している。制御部１０は、座席券ＩＤに対応するファンサービスへの参加資格を有するユーザＩＤを特定し、特定したユーザＩＤに係る端末装置３へ、ファンサービスを撮影するライブ動画を配信する。本実施形態によれば、所定の座席券を利用するＢＯＸルームユーザは、出演者とＢＯＸルームユーザのみとの間における特別なコミュニケーションが可能となり、ユーザの満足度をさらに向上させることができる。

（第３実施形態）
第３実施形態では、アバターにより生成されるユーザ画像を表示する構成を説明する。以下では、第３実施形態について、第１実施形態と異なる点を説明する。後述する構成を除く他の構成については第１実施形態の動画配信システム１００と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

図１３は、第３実施形態における動画配信システム１００にて実行される処理手順の一例を示すフローチャートである。情報処理装置１の制御部１０は、アバターを生成するためのアバターコンテンツを含む画面情報を生成し、生成したアバターコンテンツを含む画面情報を端末装置３へ送信する（ステップＳ５１）。

端末装置３の制御部３０は、アバターコンテンツを含む画面情報を受信し（ステップＳ５２）、受信した画面情報に基づく画面を表示部３３に表示する（ステップＳ５３）。制御部３０は、ユーザの操作部３４の操作によるアバターの選択を受け付ける（ステップＳ５４）。制御部３０は、選択されたコンテンツによるアバター画像を生成する（ステップＳ５５）。制御部３０は、生成したアバター画像を情報処理装置１へ送信する（ステップＳ５６）。

情報処理装置１の制御部１０は、アバター画像を受信する（ステップＳ５７）。制御部１０は、受信したアバター画像を、ユーザ画像として記憶する。制御部１０は、記憶したアバター画像であるユーザ画像を用いて、表示画面情報又は出力情報を生成する。端末装置３やモニタ２２２には、アバター画像が表示される。アバターコンテンツには、例えば季節やライブ内容に応じたキャラクター、衣装、装飾品等が含まれている。ユーザは、ライブ動画の配信毎に、ライブに参加するユーザ自身の代わりにアバターを変身させることができる。アバター生成画面は、仮想的な更衣室として機能する。

なお、ユーザ画像は、アバターを用いて生成するものに限定されない。情報処理装置１は、例えば季節、ライブ内容、ライブ施設２等に応じた背景コンテンツを提供してもよい。ユーザは端末装置３を用いて、好みの背景コンテンツを選択し、端末装置３により撮影されるユーザの撮像画像と、選択した背景コンテンツとを重畳させたユーザ画像を生成してもよい。背景コンテンツは、同一ＢＯＸルームに参加する全てのユーザ画像に共通して適用されてもよい。背景コンテンツは、各ユーザ画像の背景に適用されるものに限定されず、ＢＯＸルーム画像の周囲に設けられる枠の背景として適用されるものであってもよい。同一コンテンツをＢＯＸルームに適用することで、ＢＯＸルームユーザ間の連帯感をより高めることができる。

上記のアバターコンテンツ又は背景コンテンツは、座席券の種類に応じてＢＯＸルームのＢＯＸルームユーザに対し限定的に提供されてよい。座席券の種類に応じた限定コンテンツを用いたユーザ画像又はＢＯＸルーム画像を表示することにより、他の座席券のユーザ画像との差別化を図ることができる。本実施形態によれば、ユーザはライブ毎に異なるアバター又は背景を表示させてライブ動画を視聴することができるため、ユーザの満足度をさらに向上させることができる。

（第４実施形態）
第４実施形態では、ユーザのリアクションに応じたさらなる画像又は音声を出力装置２２に出力する構成を説明する。以下では、第４実施形態について、第１実施形態と異なる点を説明する。後述する構成を除く他の構成については第１実施形態の動画配信システム１００と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

第４実施形態の情報処理装置１は、記憶部１１に、図２に示す如く学習モデル１Ｍを記憶している。学習モデル１Ｍは、機械学習により生成された学習モデルであり、ユーザを撮影したユーザ画像の入力に応じて当該ユーザの盛り上がり度を示すデータを出力する。学習モデル１Ｍは、その定義情報によって定義される。学習モデル１Ｍの定義情報は、例えば、学習モデル１Ｍの構造情報や層の情報、各層が備えるノードの情報、学習済みのパラメータ等を含む。記憶部１１には、学習モデル１Ｍに関する定義情報が記憶されている。

図１４は、第４実施形態における学習モデル１Ｍの概要図である。学習モデル１Ｍは予め、情報処理装置１又は外部装置において、ニューラルネットワークを用いた深層学習によって、生成され、学習される。学習アルゴリズムは、例えばＣＮＮ（Convolution Neural Network）である。

学習モデル１Ｍは、端末装置３の撮影部３７により撮影された、ライブ動画を視聴するユーザのユーザ画像を入力する入力層と、当該ユーザのライブ動画に対する盛り上がり度を示す情報を出力する出力層と、特徴量を抽出する中間層（隠れ層）とを備える。中間層は、入力データの特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。入力層に、画像データが入力された場合、学習済みパラメータによって中間層で演算が行なわれ、出力層から、盛り上がり度に関する出力情報が出力される。

学習モデル１Ｍの入力層へ入力される入力情報は、ユーザ画像に限定されず、例えば端末装置３の音声入力部３５により取得されたユーザ音声が入力要素に含まれてよい。あるいは、後述する拍手ボタンの操作に関する情報が入力要素に含まれてよい。

盛り上がり度は、例えば１から５の５段階に分別され、盛り上がり度の数値が高い程、ユーザの盛り上がりが大きいことを示す。例えば、ユーザ画像におけるユーザの笑顔が検出された場合には盛り上がり度が大きいと判断される。ユーザ画像におけるユーザの所定動作（例えば拍手動作、ダンス動作等）が検出された場合には盛り上がり度が大きいと判断される。音声データにおける歓声、拍手音が大きい場合には盛り上がり度が大きいと判断される。学習モデル１Ｍの出力層は、設定されている盛り上がり度に各々対応するチャネルを含み、各盛り上がり度に対する確度をスコアとして出力する。情報処理装置１は、スコアが最も高い盛り上がり度、あるいはスコアが閾値以上である盛り上がり度を出力層の出力値とすることができる。なお出力層は、それぞれの盛り上がり度の確度を出力する複数の出力ノードを有する代わりに、最も確度の高い盛り上がり度を出力する１個の出力ノードを有してもよい。なお、盛り上がり度は５段階に分類される例に限定されない。盛り上がり度は、５段階以外の複数段階に分類されてもよく、百分率で表されてもよい。

制御部１０は、過去に収集した大量のユーザ画像に、既知の盛り上がり度が付与された情報群を訓練データとして予め収集して学習モデル１Ｍを学習する。盛り上がり度は、例えばユーザから取得したアンケート結果やライブ管理者の判断等により決定される盛り上がり度を正解ラベルとしてよい。制御部１０は、ユーザ画像に応じた盛り上がり度を出力するよう、例えば誤差逆伝播法を用いて、学習モデル１Ｍを構成する各種パラメータ及び重み等を学習する。

学習モデル１Ｍは、ＣＮＮに限定されるものではない。学習モデル１Ｍは、時系列データを取得した場合にはリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）でもよい。学習モデル１Ｍは、ニューラルネットワークを用いないサポートベクタマシン、回帰木等、他の学習アルゴリズムで構築された学習モデルであってよい。

第４実施形態における端末装置３の表示部３３に表示される表示画面３３０には、図１１に示す如く拍手ボタン３３７が含まれている。ユーザは、拍手ボタン３３７を操作することで、ライブ動画に対する盛り上がりの感情を出演者へ通知することができる。

図１５は、第４実施形態における動画配信システム１００にて実行される処理手順の一例を示すフローチャートである。ライブ動画の配信が開始され、端末装置３の表示部３３には、プログラム３Ｐに従い拍手ボタン３３７を含む表示画面３３０が表示される。

ユーザは、ライブ動画の視聴中において、出演者に拍手を送りたい場合に、拍手ボタン３３７をタップする。端末装置３の制御部３０は、操作部３４により、ユーザの拍手ボタン３３７の押下操作を受け付ける（ステップＳ６１）。制御部３０は、拍手ボタン３３７の操作を受け付けたことを示す操作信号を情報処理装置１へ送信する（ステップＳ６２）。

情報処理装置１の制御部１０は、操作信号を受信する（ステップＳ６３）。また、制御部１０は、所定のタイミングにて、記憶部１１に記憶するユーザ画像を読み出す（ステップＳ６４）。制御部１０は、ユーザ画像を入力情報として学習モデル１Ｍに入力し（ステップＳ６５）、出力される盛り上がり度を取得する（ステップＳ６６）。学習モデル１Ｍには、ユーザ画像の他、ユーザ音声、拍手ボタン３３７の操作を受け付けたことを示す操作信号等が入力されてもよい。

制御部１０は、取得した操作信号又は盛り上がり度に基づき、画面情報又は音声を含むリアクション情報を生成する（ステップＳ６７）。例えば、制御部１０は、拍手ボタン３３７の操作信号に応じた拍手音、合成音声を含むリアクション情報を生成する。制御部１０は、操作信号の連続回数、連続時間に応じて音声データの音量や音声パターンを変化させてもよい。又は、制御部１０は、盛り上がり度の状態又は推移を示す盛り上がり度グラフ又はオブジェクトを含む画面情報をリアクション情報として生成してもよい。制御部１０は、学習モデル１Ｍから出力された盛り上がり度の数値に応じて、盛り上がり度グラフのバーの長さ、色を変化させたリアクション情報を生成する。制御部１０は、盛り上がり度に応じた拍手音、合成音声を含むリアクション情報を生成してもよい。制御部１０は、、操作信号又は盛り上がり度に基づき、オブジェクトの大きさ、色及び表示態様のいずれか１つを変化させたリアクション情報を生成してもよい。制御部１０は、ユーザ画像又はＢＯＸ席の画像の枠又は背景の色を変化させたリアクション情報を生成してもよい。制御部１０は、ユーザ画像のアバターサイズ変化させたリアクション情報を生成してもよい。リアクション情報は、所定間隔において各ユーザの端末装置３から取得した操作信号又は盛り上がり度を合計し、合計したデータに基づき生成されるものであってよい。

制御部１０は、生成したリアクション情報を中継装置２３へ送信する（ステップＳ６８）。中継装置２３の制御部２３０は、リアクション情報を受信する。制御部２３０は、受信した画面情報に基づくモニタ画面を出力装置２２のモニタ２２２に表示すると共に、音声をスピーカ２２３により出力する。リアクション情報は、ユーザ画像に関連付けて出力装置２２に表示されてもよい。これにより、例えば出演者は、ユーザのユーザ画像と拍手ボタン３３７の操作状況とを対応付けて認識することができる。

図１６は、第４実施形態における出力装置２２のモニタ２２２に表示されるモニタ画面２２６の一例を示す図である。モニタ画面２２６には、ユーザ画像２２６１に対応付けてリアクション情報２２６２が表示されている。図１６の例では、各ユーザ画像２２６１は、ライブ施設２における座席の配置に対応付けてモニタ画面２２６上に表示されている。情報処理装置１の制御部１０は、ライブ施設２における座席位置と座席番号とを関連付けたＭＡＰ情報を予め記憶している。制御部１０は、各ユーザ画像２２６１に係る座席券ＩＤに基づき、各ユーザ画像２２６１をライブ施設２の座席位置及び座席番号に応じて画面上に配置するモニタ画面情報を生成する。例えば、２階のＢＯＸ席のユーザ画像２２６１からなるＢＯＸ席の画像２２６３は、ＢＯＸ席単位で画面上側に配置される。１階の一般席のユーザ画像２２６１は、一覧で画面下側に配置される。

ユーザ画像２２６１には、各ユーザ画像に係るリアクション情報２２６２が関連付けて表示されている。図１６の例では、リアクション情報２２６２は、盛り上がり度に応じて大きさが異なる拍手マークにて表示されている。情報処理装置１の制御部１０は、ユーザ単位、又は座席券の種類単位で取得した盛り上がり度に応じて、大きさを変化させた拍手マークを生成し、生成した拍手マークをユーザ画像２２６１又はＢＯＸ席の画像２２６３に重畳表示する。盛り上がり度が高くなると、拍手マークのサイズが大きくなる。リアクション情報又はモニタ画面情報は、端末装置３へ送信されることによりユーザ側に表示されてもよい。

本実施形態によれば、出力装置２２からユーザのリアクションに応じた画像や効果音が出力され、出演者は容易にユーザの座席番号やリアクションを認識することができる。ユーザと出演者とのコミュニケーションを促進し、双方における満足度をさらに向上させ得る。

（第５実施形態）
第５実施形態では、出演者の指示に応じた画像又は音声を出力装置２２に出力する構成を説明する。以下では、第５実施形態について、第１実施形態と異なる点を説明する。後述する構成を除く他の構成については第１実施形態の動画配信システム１００と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。

図１７は、第５実施形態における動画配信システム１００にて実行される処理手順の一例を示すフローチャートである。
ライブ施設２のモニタ２２２には、複数のユーザ画像と、当該ユーザ画像に係る座席番号又は座席の種類が対応付けて表示されている。ライブの出演者は、モニタ２２２に表示される画面を通して、特定の座席番号を指定しユーザとの対話を行う。ライブの出演者は、モニタ２２２のタップ操作等により、いずれかの座席番号（例えばＢＯＸ席Ａ）を指定する。中継装置２３の制御部２３０は、モニタ２２２のタップ操作の受け付け等により、座席番号の指定を受け付ける（ステップＳ７１）。制御部２３０は、タップ操作の位置座標等を含む指定情報を取得する。制御部２３０は、取得した指定情報を情報処理装置１へ送信する（ステップＳ７２）。

情報処理装置１の制御部１０は、指定情報を受信する（ステップＳ７３）。制御部１０は、出力装置２２に表示している画面情報（出力情報）に含まれる各ユーザ画像の表示位置と、指定情報とに基づき、出演者の指定した座席番号を特定する（ステップＳ７４）。なお、指定情報の取得又は座席番号の特定方法は限定されない。制御部１０は、指定情報としてライブ動画に含まれる音声データを取得し、取得した出演者の音声データを解析することにより、座席番号を特定してもよい。

制御部１０は、特定した座席番号に係る各ユーザ画像を含むＢＯＸ席の画像（例えばＢＯＸ席ＡのＢＯＸルーム画像）の表示領域を変更し、当該ＢＯＸ席の画像を拡大表示する画面情報を生成する（ステップＳ７５）。制御部１０は、生成した画面情報を中継装置２３へ送信する（ステップＳ７６）。この場合において、制御部１０は、特定した座席番号に係るユーザ画像に対応付けられるユーザ音声のみを取得し、取得したユーザ音声を画面情報に関連付けて出力してもよい。制御部１０は、特定した座席番号に係るユーザの端末装置３の音声入力のみを有効にすることで、特定した座席番号に係る端末装置３からのユーザ音声を取得してよい。この場合において、制御部１０は、一定時間経過後、又は出演者から終了を示す所定キーワード、合図を取得したときは、端末装置３の音声入力を終了してよい。

中継装置２３の制御部２３０は、画面情報を受信する（ステップＳ７７）。制御部２３０は、受信した画面情報に基づく画面を出力装置２２のモニタ２２２に表示すると共に、音声をスピーカ２２３により出力し（ステップＳ７８）一連の処理を終了する。制御部２３０は、処理をステップＳ７１の戻しループ処理を実行してもよい。本実施形態によれば、出演者からの発信内容に応じて出力情報が変化するため、ユーザと出演者とのコミュニケーションをより促進し、ユーザ参加型の動画配信システムを実現することができる。

上述の各実施形態において、ライブ動画は、リアルタイムで配信するものに限定されない。情報処理装置１は、取得したライブ動画を収集管理し、任意のタイミングにて送信されるユーザの配信指示に応じて端末装置３へライブ動画を配信するオンデマンドサービスを提供してもよい。この場合、情報処理装置１による出力装置２２への出力情報の出力処理は省略されてもよい。

上述の各実施形態において、情報処理装置１の制御部１０が実行する処理の一部は、端末装置３の制御部３０で実行されてもよく、又は中継装置２３の制御部２３０で実行されてもよい。また、処理の順序が変動または省略されてもよい。

第１実施形態から第５実施形態に示した例は、各実施形態に示した構成の全部又は一部を組み合わせて他の実施の形態を実現することが可能である。

今回開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１００ 動画配信システム
１ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
１Ｐ プログラム
１Ｍ 学習モデル
２ ライブ施設
２１ 撮影装置
２２ 出力装置
２２２ モニタ
２２３ スピーカ
２３ 中継装置
２３０ 制御部
２３１ 記憶部
２３２ 通信部
２３３ 入出力部
３ 端末装置
３０ 制御部
３１ 記憶部
３２ 通信部
３３ 表示部
３４ 操作部
３５ 音声入力部
３６ 音声出力部
３７ 撮影部
３Ｐ プログラム

Claims (12)

1. ライブ施設におけるライブ動画の配信指示を取得し、
   所定の座席券に関連付けられる複数のユーザが参加可能なＢＯＸルームへの参加要求を取得し、
   取得した前記配信指示及び参加要求に基づき、前記ライブ動画と、前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を含むＢＯＸルーム画像とを含む画面を表示部に表示する
   処理をコンピュータに実行させるためのコンピュータプログラム。
2. 前記ＢＯＸルームへの参加が許可された複数のユーザ間で共有されるグループチャットを含む前記画面を前記表示部に表示する
   処理をコンピュータに実行させるための請求項１に記載のコンピュータプログラム。
3. 拍手操作を受け付ける拍手ボタンを前記表示部に表示し、
   前記拍手ボタンの操作を受け付けた場合、前記拍手ボタンの操作を受け付けたことを示す操作信号を外部装置へ出力する
   処理をコンピュータに実行させるための請求項１又は請求項２に記載のコンピュータプログラム。
4. 前記ライブ動画に関する商品の購入画像を含む前記画面を前記表示部に表示する
   処理をコンピュータに実行させるための請求項１から請求項３のいずれか１項に記載のコンピュータプログラム。
5. 前記ＢＯＸルームへの参加が許可された複数のユーザと、ライブの出演者との交流が可能な特別交流画像を含む前記画面を前記表示部に表示する
   処理をコンピュータに実行させるための請求項１から請求項４のいずれか１項に記載のコンピュータプログラム。
6. 前記ライブ動画に応じた背景又はアバターの選択を受け付け、
   受け付けた前記背景又はアバターにより生成される前記ＢＯＸルーム画像を含む前記画面を前記表示部に表示する
   処理をコンピュータに実行させるための請求項１から請求項５のいずれか１項に記載のコンピュータプログラム。
7. ライブ施設におけるライブ動画を視聴するユーザに係る座席券に関する情報を取得し、
   前記ライブ動画の視聴中における所定の座席券に関連付けられる複数のユーザが参加可能なＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を取得し、
   取得した前記座席券に関する情報と、前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係る前記ユーザ画像とを関連付けて前記ライブ施設内の出力装置に出力する
   処理をコンピュータに実行させるためのコンピュータプログラム。
8. 前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係る前記ユーザ画像と、所定の座席以外の座席券に関連付けられ前記ＢＯＸルームへ参加していないユーザに係る前記ユーザ画像とを区別して表示する画面情報を前記出力装置に出力する
   処理をコンピュータに実行させるための請求項７に記載のコンピュータプログラム。
9. 前記ユーザによる拍手ボタンの操作を受け付けたことを示す操作信号を取得し、
   取得した操作信号に応じた画像又は音声を前記出力装置に出力する
   処理をコンピュータに実行させるための請求項７又は請求項８に記載のコンピュータプログラム。
10. 前記ユーザ画像に基づいて、前記ユーザの盛り上がり度を判定し、
    前記ユーザの盛り上がり度の判定結果に応じた画像又は音声を前記出力装置に出力する
    処理をコンピュータに実行させるための請求項７から請求項９のいずれか１項に記載のコンピュータプログラム。
11. ライブ施設におけるライブ動画の配信指示を取得し、
    所定の座席券に関連付けられる複数のユーザが参加可能なＢＯＸルームへの参加要求を取得し、
    前記ライブ動画を取得し、
    前記ライブ動画の視聴中における前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を取得し、
    取得した前記配信指示及び参加要求に基づき、前記ライブ動画と、前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を含むＢＯＸルーム画像とを含む画面情報を生成し、
    生成した前記画面情報を出力する
    情報処理方法。
12. ライブ施設におけるライブ動画の配信指示を取得する第１取得部と、
    所定の座席券に関連付けられる複数のユーザが参加可能なＢＯＸルームへの参加要求を取得する第２取得部と、
    前記ライブ動画を取得する第３取得部と、
    前記ライブ動画の視聴中における前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を取得する第４取得部と、
    前記第１取得部が取得した配信指示及び前記第２取得部が取得した参加要求に基づき、前記第３取得部が取得したライブ動画と、前記第４取得部が取得した前記ＢＯＸルームへの参加が許可された複数のユーザそれぞれに係るユーザ画像を含むＢＯＸルーム画像とを含む画面情報を生成する生成部と、
    前記生成部が生成した画面情報を出力する出力部とを備える
    情報処理装置。

Images