JP7285244B2 - コンピュータプログラム、方法及びサーバ装置 - Google Patents

Description

特許法第３０条第２項適用 株式会社Ｗｒｉｇｈｔ Ｆｌｙｅｒ Ｌｉｖｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔは、２０１９年１２月２４日に、ｈｔｔｐｓ：／／ｌｅ．ｗｒｉｇｈｔｆｌｙｅｒ．ｎｅｔ／ｒｅａｌｉｔｙ／ ｈｔｔｐｓ：／／ｉｔｕｎｅｓ．ａｐｐｌｅ．ｃｏｍ／ｕｓ／ａｐｐ／ｒｅａｌｉｔｙ／ｉｄ１４０４１７６５６４？ｌ＝ｊａ＆ｌｓ＝１＆ｍｔ＝８ ｈｔｔｐｓ：／／ｐｌａｙ．ｇｏｏｇｌｅ．ｃｏｍ／ｓｔｏｒｅ／ａｐｐｓ／ｄｅｔａｉｌｓ？ｉｄ＝ｎｅｔ．ｗｒｉｇｈｔｆｌｙｅｒ．ｌｅ．ｒｅａｌｉｔｙ のウェブサイトにおいて、ダウンロード可能な「ＲＥＡＬＩＴＹ」というアプリケーションを介してサービスの提供を行った。

特許法第３０条第２項適用 株式会社Ｗｒｉｇｈｔ Ｆｌｙｅｒ Ｌｉｖｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔは、２０１９年１２月１９日に、 ｈｔｔｐｓ：／／ｒｅａｌｉｔｙ－ｎｏｔｉｃｅ．ｗｒｉｇｈｔｆｌｙｅｒ．ｎｅｔ／ｄｅ００３０７５０７ｆ４６８ｅ６ｂｄｆ４２ｅ３５４ｅａｄ５ｆｌｃ８３ｅ８ｅｆｅａ．ｈｔｍｌ？ｔ＝１５７６７３３３８９ のウェブサイトにおいて、出願に係る発明に関連したサービスに関する公開を行った。

特許法第３０条第２項適用 株式会社Ｗｒｉｇｈｔ Ｆｌｙｅｒ Ｌｉｖｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔは、２０２０年１月８日に、ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ＷＦＬＥ＿ＲＥＡＬＩＴＹ／ｓｔａｔｕｓ／１２１４７９０３７１３１５５７２７３７ のウェブサイトにおいて、出願に係る発明に関連したサービスに関する公開を行った。

特許法第３０条第２項適用 株式会社Ｗｒｉｇｈｔ Ｆｌｙｅｒ Ｌｉｖｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔは、２０２０年１月８日 に、ｈｔｔｐｓ：／／ｗｗｗ．ｍｏｇｕｒａｖｒ．ｃｏｍ／ｒｅａｌｉｔｙ－３／ のウェブサイトにおいて、出願に係る発明に関連したサービスに関する公開を行った。

特許法第３０条第２項適用 株式会社Ｗｒｉｇｈｔ Ｆｌｙｅｒ Ｌｉｖｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔは、２０１９年８月１２日 に、ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｚＺｐｕｆｅｘａＥｖ０＆ｆｅａｔｕｒｅ＝ｙｏｕｔｕ．ｂｅ＆ｔ＝２２２４／ のウェブサイトにおいて、出願に係る発明に関連したサービスに関する公開を行った。

本件出願に開示された技術は、配信ユーザの発話に基づいて生成される音声とこの配信ユーザの動作に基づいて生成される動画とを複数のユーザに配信するシステムに関する。

音楽及び動画を複数のユーザに配信するサービスとして、「Ｍｉｒｒａｔｉｖ」（非特許文献１）が知られている。なお、上記非特許文献１は、引用によりその全体が本明細書に組み入れられる。

このサービスでは、配信ユーザは、この配信ユーザの発話に基づいて生成される音声とこの配信ユーザの動作に基づいて生成されるアバターのアニメーションを含む動画とを、通信網を介して複数の視聴ユーザに送信することができる。そのような配信ユーザにより配信された動画等を視聴する各視聴ユーザは、その配信ユーザにギフトを贈ることができる。ギフトが贈られると、このギフトに対応するオブジェクトが、配信ユーザにより配信される動画において表示される。

"Ｍｉｒｒａｔｉｖ"、［online］、株式会社ミラティブ、［２０１９年１２月１８日検索］、インターネット（URL: https://www.mirrativ.com/）

しかしながら、配信ユーザから通信網を介して各視聴ユーザに配信される動画は、比較的に大きな容量を有するものである。よって、各視聴ユーザに利用される通信網の帯域が狭い場合、及び／又は、その通信網に輻輳が生じている場合等には、各視聴ユーザに配信される動画に遅延が生ずる可能性がある。このような問題に対処するために、配信ユーザの端末装置が、その配信ユーザの動作及び付与されたギフトに関する動画データを音声信号とともに各視聴ユーザに送信し、各視聴ユーザの端末装置が、受信した動画データに基づいて動画を生成し、受信した音声信号に基づいて音声を再生する手法が考えられる。

配信ユーザにより送信される動画データは、配信ユーザの動作に変化が生じた時点及び／又はギフトが付与された時点において、その変化の内容及び／又はギフトの内容を間欠的に伝達するものである。一方、配信ユーザにより送信される音声信号は、配信ユーザが発話をしている期間にわたってその発話の内容を連続的に伝達するものである。よって、各視聴ユーザの端末装置は、配信ユーザから受信した音声信号をバッファリングすることにより、通信網の障害等に起因する途切れを抑えた音声を再生することが考えられる。この結果、各視聴ユーザの端末装置において、音声信号に基づいて音声を再生するタイミングと、動画データに基づいてギフトに対応するオブジェクトを描画するタイミングとが、ずれる可能性がある。

そこで、本件出願に開示された技術は、音声を再生するタイミングとギフトに対応するオブジェクトを描画するタイミングとの間におけるずれを少なくとも部分的に抑えることが可能な手法を提供する。

一態様に係るコンピュータプログラムは、「少なくとも１つのプロセッサにより実行されることにより、配信ユーザの動作に関する動作情報に基づいて生成される該配信ユーザのアバターオブジェクトのアニメーションと、該配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトのアニメーションと、を含む動画を生成することが可能であり、基準時間に対応付けられた前記ギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して複数の視聴ユーザの端末装置に向けて送信する、ように前記プロセッサを機能させる」ものである。

一態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、配信ユーザの動作に関する動作情報に基づいて生成される該配信ユーザのアバターオブジェクトのアニメーションと、該配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトのアニメーションと、を含む動画を生成することが可能である工程と、基準時間に対応付けられた前記ギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して複数の視聴ユーザの端末装置に向けて送信する工程と、を含む」ものである。

別の態様に係るコンピュータプログラムは、「少なくとも１つのプロセッサにより実行されることにより、基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信し、前記座標情報を用いて前記ギフトオブジェクトのアニメーションと前記アバターオブジェクトのアニメーションとを含む動画を生成し、前記音声情報を用いて前記配信ユーザの発話に基づく音声信号を生成する、ように前記プロセッサを機能させる」ものである。

別の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信する工程と、前記座標情報を用いて前記ギフトオブジェクトのアニメーションと前記アバターオブジェクトのアニメーションとを含む動画を生成する工程と、前記音声情報を用いて前記配信ユーザの発話に基づく音声信号を生成する工程と、を含む」ものである。

一態様に係るサーバ装置は、「少なくとも１つのプロセッサを具備し、該プロセッサが、基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信し、前記座標情報及び前記音声情報を、通信回線を介して複数の視聴ユーザの端末装置に送信することにより、前記配信ユーザの動作に関する動作情報に基づいて生成される前記アバターオブジェクトのアニメーションと前記ギフトオブジェクトのアニメーションとを含む動画、及び、前記配信ユーザの発話に基づく音声信号を、前記複数の視聴ユーザの端末装置に生成させる」ものである。

さらに別の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信する工程と、前記座標情報及び前記音声情報を、通信回線を介して複数の視聴ユーザの端末装置に送信することにより、前記配信ユーザの動作に関する動作情報に基づいて生成される前記アバターオブジェクトのアニメーションと前記ギフトオブジェクトのアニメーションとを含む動画、及び、前記配信ユーザの発話に基づく音声信号を、前記複数の視聴ユーザの端末装置に生成させる工程と、を含む」ものである。

図１は、一実施形態に係る動画配信システムの構成の一例を示すブロック図である。 図２は、図１に示した端末装置１０（サーバ装置２０）のハードウェア構成の一例を模式的に示すブロック図である 図３は、図１に示した端末装置１０の機能の一例を模式的に示すブロック図である。 図４は、図１に示したサーバ装置２０の機能の一例を模式的に示すブロック図である。 図５は、図１に示した動画配信システム１において行われる動作の一例を示すフロー図である。 図６は、図１に示す動画配信システム１における各視聴ユーザの端末装置１０が受信した情報を用いて動画及び音声を再生する手法の一例を概念的に示す模式図である。 図７は、図１に示す動画配信システム１における各視聴ユーザの端末装置１０が受信した情報を用いて動画及び音声を再生する手法の別の例を概念的に示す模式図である。 図８は、図１に示す動画配信システム１における各視聴ユーザの端末装置１０の表示部１３０に表示される動画の一例を示す模式図である。

以下、添付図面を参照して本発明の様々な実施形態を説明する。なお、図面において共通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。

１．動画配信システムの例
本件出願において開示される動画配信システムでは、簡潔にいえば、以下のような動作が行われる。まず、動画を配信するユーザ（以下「配信ユーザ」という。）の端末装置は、動画を配信する際には、この動画を視聴するユーザ（以下「視聴ユーザ」という。）の端末装置に対して、基準時間に関する基準時間情報を送信することができる。基準時間情報は、時間の経過とともに変化する時間であって、音声及び動画を再生する各視聴ユーザの端末装置により基準にされる基準時間を示すものであり得る。

また、配信ユーザの端末装置は、配信ユーザの発話に関する音声情報に対して基準時間に基づくタイムスタンプを付し、このようなタイムスタンプが付された音声情報を、各視聴ユーザの端末装置に送信することができる。

さらに、配信ユーザの端末装置は、配信ユーザのアバターオブジェクトに関するアバター情報を各視聴ユーザの端末装置に送信することができる。なお、配信ユーザの端末装置は、このアバター情報に対して基準時間に基づくタイムスタンプを付し、このようなタイムスタンプが付されたアバター情報を、各視聴ユーザの端末装置に送信することもできる。

さらにまた、配信ユーザの端末装置は、配信ユーザに対してギフトを付与する旨を示すギフト情報を受信した場合には、そのギフトに対応するギフトオブジェクトに関するギフトオブジェクト情報を生成する。配信ユーザの端末装置は、このギフトオブジェクト情報に対して基準時間に基づくタイムスタンプを付し、このようなタイムスタンプが付されたギフトオブジェクト情報を、各視聴ユーザの端末装置に送信することができる。

一方、各視聴ユーザの端末装置は、配信ユーザの端末装置から受信したタイムスタンプが付された音声情報を用い、受信した基準時間情報により示される基準時間に基づいて、音声信号を再生することができる。

また、各視聴ユーザの端末装置は、配信ユーザの端末装置から受信した、タイムスタンプが付された動画情報及びギフトオブジェクト情報を用い、受信した基準時間情報により示される基準時間に基づいて、動画を生成することができる。

図１は、一実施形態に係る動画配信システムの構成の一例を示すブロック図である。図１に示すように、動画配信システム１は、通信網（通信回線）２に接続される１又はそれ以上の端末装置１０と、通信回線２に接続される１又はそれ以上のサーバ装置２０と、を含むことができる。各端末装置１０は、通信回線２を介して、１又はそれ以上のサーバ装置２０に接続される。なお、図１には、１又はそれ以上の端末装置１０として、例えば、端末装置１０Ａ～１０Ｃが示されているが、これら以外の１又はそれ以上の端末装置１０が同様に用いられ得る。同様に、図１には、１又はそれ以上のサーバ装置２０として、例えば、サーバ装置２０Ａ～２０Ｃが示されているが、これら以外の１又はそれ以上のサーバ装置２０が同様に用いられ得る。なお、通信回線２は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット及び／又はイーサネット（登録商標）等をこれらに限定することなく含むことができるものである。

さらに、一実施形態では、動画配信システム１は、通信回線２に接続される１又はそれ以上のスタジオユニット３０を含むこともできる。各スタジオユニット３０は、通信回線２を介して、１又はそれ以上のサーバ装置２０に接続される。なお、図１には、１又はそれ以上のスタジオユニット３０として、例えば、スタジオユニット３０Ａ及び３０Ｂが示されているが、これら以外の１又はそれ以上のスタジオユニット３０が同様に用いられ得る。各スタジオユニット３０は、後述する端末装置１０、及び／又は、後述するサーバ装置２０と同様の機能を有することが可能なものである。

以下、説明を簡単にするために、配信ユーザの端末装置１０がサーバ装置２０を介して各視聴ユーザの端末装置１０に対して動画を配信する送信する場合に着目する。これに代えて又はこれに加えて、配信ユーザに対向するスタジオユニット３０が、端末装置１０と同様の機能を有することにより、サーバ装置２０を介して各視聴ユーザの端末装置１０に対して動画を配信することも可能である。

１－１．端末装置１０
複数の端末装置１０は、１又はそれ以上の配信ユーザの端末装置１０と、１又はそれ以上の視聴ユーザの端末装置１０と、を含むことができる。各端末装置１０は、共通した構成を有することにより、動画を配信するための端末装置１０及び動画を視聴するための端末装置１０のいずれにもなり得るものである。

各端末装置１０は、動画を配信するための端末装置（配信ユーザの端末装置）として動作する場合には、インストールされた動画配信用アプリケーション（ミドルウェア、又は、アプリケーションとミドルウェアとを組み合わせたものであってもよい。以下同様。）を実行することにより、サーバ装置２０を介して、動画を配信することができる。このような動画は、サーバ装置２０により通信回線２を介して、インストールされた動画視聴用アプリケーション（ミドルウェア、又は、アプリケーションとミドルウェアとを組み合わせたものであってもよい。以下同様。）を実行する、動画を受信するための端末装置（視聴ユーザの端末装置）１０に配信される。

また、各端末装置１０は、配信ユーザの端末装置として動作する場合には、上記動画配信用アプリケーションを実行することにより、（この配信ユーザの端末装置１０により配信された）動画を視聴する視聴ユーザの端末装置１０からサーバ装置２０を介して、この配信ユーザに対してギフトを付与する旨を示すギフト情報、及び／又は、この配信ユーザに対してコメントを送信する旨を示すコメント情報を受信することができる。

一方、各端末装置１０は、動画を視聴するための端末装置（視聴ユーザの端末装置）として動作する場合には、インストールされた動画視聴用アプリケーションを実行することにより、配信ユーザの端末装置１０により配信された動画を、サーバ装置２０から受信することができる。

また、各端末装置１０は、上記動画視聴用アプリケーションを実行することにより、動画を受信している間において、この動画を配信している配信ユーザに対してギフトを付与する旨を示すギフト情報、及び／又は、この配信ユーザに対してコメントを送信する旨を示すコメント情報を、サーバ装置２０を介して、この配信ユーザの端末装置１０に送信することができる。

なお、上述した動画配信用アプリケーション及び動画視聴用アプリケーションは、統合された１つのアプリケーション（ミドルウェア、又は、ミドルウェアとアプリケーションとを組み合わせたものであってもよい）として、又は、それぞれ別々のアプリケーション（ミドルウェア、又は、ミドルウェアとアプリケーションとを組み合わせたものであってもよい）として、各端末装置１０にインストール及び実行されるものとすることができる。

各端末装置１０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等を、これらに限定することなく含むことができるものである。

１－２．サーバ装置２０
各サーバ装置２０は、各配信ユーザの端末装置１０により送信された動画を、各視聴ユーザの端末装置１０に配信することができる。

また、各サーバ装置２０は、各視聴ユーザの端末装置１０により送信され、配信ユーザに対してギフトを付与する旨を示すギフト情報、及び／又は、配信ユーザに対してコメントを送信する旨を示すコメント情報を、その配信ユーザの端末装置１０に送信することができる。

なお、一実施形態では、動画の配信に関連する動作、ギフト情報に関連する動作、及び、コメント情報に関連する動作が、すべて各サーバ装置２０により実行されるものとすることができる。別の実施形態では、これらの動作が、複数のサーバ装置２０により分担して実行され（ることにより、各サーバ装置２０にかかる負担を分散す）るものとすることができる。

１－３．スタジオユニット３０
スタジオユニット３０は、演者が動画を配信する場所であるスタジオ、部屋、ホール等に配置され得る。スタジオユニット３０は、上述したように、端末装置１０と同様の機能を果たすことが可能なものである。

２．各装置のハードウェア構成
次に、端末装置１０及びサーバ装置２０の各々が有するハードウェア構成の一例について説明する。

２－１．端末装置１０のハードウェア構成
各端末装置１０のハードウェア構成例について図２を参照して説明する。図２は、図１に示した端末装置１０（サーバ装置２０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するようにサーバ装置２０に関連して記載されたものである。）

図２に示すように、各端末装置１０は、主に、中央処理装置１１と、主記憶装置１２と、入出力インタフェイス装置１３と、入力装置１４と、補助記憶装置１５と、出力装置１６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

中央処理装置１１は、「ＣＰＵ」と称されるものであり、主記憶装置１２に記憶されている命令及びデータに対して演算を行い、その演算の結果を主記憶装置１２に記憶させるものである。さらに、中央処理装置１１は、入出力インタフェイス装置１３を介して、入力装置１４、補助記憶装置１５及び出力装置１６等を制御することができる。端末装置１０は、１又はそれ以上のこのような中央処理装置１１を含むことが可能である。

主記憶装置１２は、「メモリ」と称されるものであり、入力装置１４、補助記憶装置１５及び通信回線２（サーバ装置２０等）から、入出力インタフェイス装置１３を介して受信した命令及びデータ、並びに、中央処理装置１１の演算結果を記憶するものである。主記憶装置１２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。

補助記憶装置１５は、主記憶装置１２よりも大きな容量を有する記憶装置である。上述した特定のアプリケーション（動画配信用アプリケーション、動画視聴用アプリケーション等）やウェブブラウザアプリケーション等を構成する命令及びデータ（コンピュータプログラム）を記憶しておき、中央処理装置１１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）を入出力インタフェイス装置１３を介して主記憶装置１２に送信することができる。補助記憶装置１５は、磁気ディスク装置及び／又は光ディスク装置等をこれらに限定することなく含むことができる。

入力装置１４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等をこれらに限定することなく含むものである。センサは、後述するように、１又はそれ以上のカメラ等及び／又は１又はそれ以上のマイク等を含むセンサをこれらに限定することなく含むことができる。

出力装置１６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができる。

このようなハードウェア構成にあっては、中央処理装置１１が、補助記憶装置１５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置１２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置１３を介して出力装置１６を制御し、或いはまた、入出力インタフェイス装置１３及び通信回線２を介して、他の装置（例えばサーバ装置２０及び他の端末装置１０等）との間で様々な情報の送受信を行うことができる。

これにより、端末装置１０は、インストールされた特定のアプリケーション（ミドルウェア、又は、アプリケーションとミドルウェアとを組み合わせたもの）を実行することにより、例えば、以下の動作のうちの少なくとも１つの動作を実行することができる。
・動画を配信するために必要な動作
・他の端末装置１０により自端末装置１０宛てに送信されたギフト情報及び／又はコメント情報を受信するために必要な動作
・他の端末装置１０により配信された動画を受信及び表示するために必要な動作
・他の端末装置１０に対してギフト情報及び／又はコメント情報を送信するために必要な動作等（後に詳述する様々な動作を含む）

なお、端末装置１０は、中央処理装置１１に代えて又は中央処理装置１１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含むものであってもよい。

２－２．サーバ装置２０のハードウェア構成
各サーバ装置２０のハードウェア構成例について同じく図２を参照して説明する。各サーバ装置２０のハードウェア構成としては、例えば、上述した各端末装置１０のハードウェア構成と同一のものを用いることが可能である。したがって、各サーバ装置２０が有する構成要素に対する参照符号は、図２において括弧内に示されている。

図２に示すように、各サーバ装置２０は、主に、中央処理装置２１と、主記憶装置２２と、入出力インタフェイス装置２３と、入力装置２４と、補助記憶装置２５と、出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

中央処理装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６は、それぞれ、上述した各端末装置１０に含まれる、中央処理装置１１、主記憶装置１２、入出力インタフェイス装置１３、入力装置１４、補助記憶装置１５及び出力装置１６と略同一なものとすることができる。

このようなハードウェア構成にあっては、中央処理装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信回線２を介して、他の装置（例えば各端末装置１０等）との間で様々な情報の送受信を行うことができる。

これにより、サーバ装置２０は、以下の動作のうちの少なくとも１つの動作を実行することができる。
・各配信ユーザの端末装置１０により送信された動画を、各視聴ユーザの端末装置１０に配信するために必要な動作
・各視聴ユーザの端末装置１０により或る配信ユーザの端末装置１０宛てに送信されたギフト情報及び／又はコメント情報を、その配信ユーザの端末装置１０に送信するために必要な動作等（後に詳述する様々な動作を含む）

なお、サーバ装置２０は、中央処理装置２１に代えて又は中央処理装置２１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含むものであってもよい。

２－３．スタジオユニット３０のハードウェア構成
スタジオユニット３０は、上述したように、端末装置１０と同様の機能を果たすことが可能なものである。したがって、スタジオユニット３０は、上述した端末装置１０と同様のハードウェア構成を有することができる。

３．各装置の機能
次に、端末装置１０及びサーバ装置２０の各々が有する機能の一例について説明する。
３－１．端末装置１０の機能
端末装置１０の機能の一例について図３を参照して説明する。図３は、図１に示した端末装置１０の機能の一例を模式的に示すブロック図である。

図３に示すように、端末装置１０は、主に、動画生成部１００と、情報生成部１１０と、通信部１２０と、表示部１３０と、記憶部１４０と、ユーザインタフェイス部１５０と、ギフト処理部１６０と、を含むことができる。

（１）動画生成部１００
動画生成部１１０は、配信ユーザの動作に関する動作データに基づいて、この配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成することができる。これを実現するために、動画生成部１１０は、例えば、取得部１１２（図示せず）と、処理部１１４（図示せず）と、を含むことができる。

取得部１１２は、配信ユーザの動作に関するデータを取得する１又はそれ以上の第１のセンサ１１２ａ（図示せず）と、配信ユーザにより発せられた発話及び／又は歌唱に関する音声データを取得する１又はそれ以上の第２のセンサ１１２ｂ（図示せず）と、を含むことができる。

第１のセンサ１１２ａは、好ましい実施形態では、可視光線を撮像するＲＧＢカメラと、近赤外線を撮像する近赤外線カメラと、を含むことができる。このようなカメラとしては、例えばｉｐｈｏｎｅ Ｘ（登録商標）のトゥルーデプス（Ｔｒｕｅ Ｄｅｐｔｈ）カメラに含まれたものを用いることが可能である。第２のセンサ１１２ｂは、音声を記録するマイクロフォンを含むことができる。

まず、第１のセンサ１１２ａに関して、取得部１１２は、配信ユーザの身体に近接して配置された第１のセンサ１１２ａを用いて配信ユーザの身体を撮像する。これにより、取得部１１２は、ＲＧＢカメラにより取得された画像をタイムコード（取得した時間を示すコード）に対応付けて単位時間にわたって記録したデータ（例えばＭＰＥＧファイル）を生成することができる。さらに、取得部１１２は、近赤外線カメラにより取得された所定数（例えば５１個）の深度を示す数値（例えば浮動小数点の数値）を上記タイムコードに対応付けて単位時間にわたって記録したデータ（例えばＴＳＶファイル）を生成することができる。ここで、ＴＳＶファイルとは、データ間をタブで区切って複数のデータを記録する形式のファイルをいう。

近赤外線カメラに関して、具体的には、ドットプロジェクタがドット（点）パターンを形成する赤外線レーザーを配信ユーザの身体に放射し、近赤外線カメラが、配信ユーザの身体に投影され反射した赤外線ドットを捉え、このように捉えた赤外線ドットの画像を生成する。取得部１１２は、予め登録されているドットプロジェクタにより放射されたドットパターンの画像と、近赤外線カメラにより捉えられた画像とを比較して、両画像における各ポイント（各特徴点）（例えば５１個のポイント・特徴点の各々）における位置のずれを用いて各ポイント（各特徴点）の深度（各ポイント・各特徴点と近赤外線カメラとの間の距離）を算出することができる。取得部１１２は、このように算出された深度を示す数値を上記のようにタイムコードに対応付けて単位時間にわたって記録したデータを生成することができる。

次に、第２のセンサ１１２ｂに関して、取得部１１２は、配信ユーザに近接して配置された第２のセンサ１１２ｂを用いて配信ユーザにより発せられた発話及び／又は歌唱に関する音声を取得する。これにより、取得部１１２は、タイムコードに対応付けて単位時間にわたって記録したデータ（例えばＭＰＥＧファイル）を生成することができる。一実施形態では、取得部１１２は、第１のセンサ１１２ａを用いて配信ユーザの身体に関するデータを取得することと同時に、第２のセンサ１１２ｂを用いて配信ユーザにより発せられた発話及び／又は歌唱に関する音声データを取得することができる。この場合には、取得部１１２は、ＲＧＢカメラにより取得された画像と、第２のセンサ１１２ｂを用いて配信ユーザにより発せられた発話及び／又は歌唱に関する音声データとを、同一のタイムコードに対応付けて単位時間にわたって記録したデータ（例えばＭＰＥＧファイル）を生成することができる。

取得部１１２は、このように生成した、配信ユーザの動作に関するデータ（ＭＰＥＧファイル及びＴＳＶファイル等）、及び／又は、配信ユーザにより発せられた発話及び／又は歌唱に関する音声データ（ＭＰＥＧファイル等）を、処理部１１４に出力することができる。

なお、ここでは、第１のセンサ１１２ａがＲＧＢカメラ及び赤外線カメラを含む場合について説明したが、第１のセンサ１１２ａは、例えば、以下の（Ａ）～（Ｃ）のうちのいずれかを含むものであってもよい。
（Ａ）赤外線レーザーにより放射され配信ユーザの身体に反射した赤外線を検出するカメラ
（Ｂ）可視光線を撮像する複数のＲＧＢカメラ
（Ｃ）可視光線を撮像する単一のカメラ

上記（Ａ）の場合には、取得部１１２は、上述したものと同様の手法により、配信ユーザの身体における各特徴点について深度を算出することができる。上記（Ｂ）の場合には、取得部１１２は、複数のＲＧＢカメラにより撮像された複数の画像を用いて、配信ユーザの身体における各特徴点について奥行（深度）を計算することができる。上記（Ｃ）の場合には、取得部１１２は、単一のカメラにより撮像された画像から、配信ユーザの身体における各特徴点の奥行（深度）を、ディープラーニング等を利用して算出することができる。また、上記（Ｃ）の場合には、取得部１１２は、単一のカメラにより撮像された画像に対する分析処理（画像処理等）により、配信ユーザの身体における各特徴点の奥行（深度）を算出してもよい。

処理部１１４は、取得部１１２からの、配信ユーザの動作に関するデータに基づいて、仮想的なキャラクター（配信ユーザのアバターオブジェクト）のアニメーションを含む動画を生成することができる。仮想的なキャラクターの動画自体については、処理部１１４は、図示しないキャラクターデータ記憶部に記憶された様々な情報（例えば、ジオメトリ情報、ボーン情報、テクスチャ情報、シェーダ情報及びブレンドシェイプ情報等）を用いて、図示しないレンダリング部にレンダリングを実行させることにより、仮想的なキャラクターの動画を生成することができる。

さらに、処理部１１４は、取得部１１２からの配信ユーザの動作に関するデータ（演者の身体における各特徴点の深度に関するデータ）を用いてアバターオブジェクト（の表情）を変化させた動画（例えば、アバターオブジェクトの表情が配信ユーザの口及び両目の動きに同期して変化した動画、すなわち、アバターオブジェクトの表情が演者の顔に対してリップシンク及び視線追従して変化した動画）を、様々な周知の技術を利用して生成することができる。

なお、配信ユーザの動作に関する動作データに基づいてこの配信ユーザのアバターオブジェクトのアニメーションを含む動画を生成するために、他の任意の周知な技術を利用することも可能である。

（２）情報生成部１１０
情報生成部１１０は、配信ユーザの発話に基づいて生成される音声と配信ユーザの動作に基づいて生成されるアバターオブジェクトのアニメーションを含む動画とを再生するために、各視聴ユーザの端末装置１０により用いられる様々な情報を、生成するものである。

上記様々な情報には、例えば、以下の（ａ）～（ｄ）に示す情報が含まれ得る。
（ａ）時間の経過とともに変化し、音声及び動画を再生する各視聴ユーザの端末装置１０により基準にされる基準時間、に関する情報（以下「基準時間情報」という。）
（ｂ）配信ユーザの発話に関する情報（以下「音声情報」という。）
この音声情報は、例えば、配信ユーザの発話を記録したＷＡＶＥファイル、ＭＰ３ファイル等を含むことができる。
（ｃ）配信ユーザのアバターオブジェクトに関する情報（以下「アバター情報」という。）
このアバター情報は、例えば、配信ユーザに使用されるアバターオブジェクトの識別情報、並びに、仮想空間におけるアバターオブジェクトの座標及び方向等に関する情報を含むことができる。
（ｄ）各視聴ユーザにより配信ユーザに対して付与されたギフトに対応するギフトオブジェクトに関する情報（以下「ギフトオブジェクト情報」という。）
このギフトオブジェクト情報は、例えば、ギフトオブジェクトの識別情報、並びに、仮想空間におけるギフトオブジェクトの座標及び方向等に関する情報を含むことができる。

（ａ）基準時間情報
情報生成部１１０は、基準時間情報として、例えば、時間の経過とともに変化する基準時間を記録したＭＰＥＧファイル等を生成することができる。各視聴ユーザの端末装置１０は、このようなＭＰＥＧファイル等を再生することにより、例えば図６に例示したような、時間の経過とともに変化する「０１：１０：４１」（１時間１０分４１秒）、「０１：１０：４２」（１時間１０分４２秒）、「０１：１０：４３」（１時間１０分４３秒）、・・・といった基準時間を取得することができる。なお、情報生成部１１０は、基準時間情報として、時間の経過とともに変化する基準時間を記録して、各視聴ユーザの端末装置１０によりその基準時間が参照されることを可能にする、その他の任意の形態の情報を用いることが可能である。

（ｂ）音声情報
情報生成部１１０は、音声情報として、配信ユーザの発話に関する音声信号を記録した、例えばＭＰＥＧファイル及びＭＰ３ファイル等を生成することができる。このＭＰＥＧファイルは、上述した動画生成部１００の取得部１１２により生成されたＭＥＰＧファイルであってもよい。

さらに、情報生成部１１０は、ＭＰＥＧファイル等の音声情報に対して、基準時間に基づいて生成されたタイムスタンプを所定の時間間隔をおいて付加することができる。各視聴ユーザの端末装置１０は、このようなＭＰＥＧファイル等を再生することにより、基準時間を取得することができ、かつ、この基準時間に同期した配信ユーザの発話に関する音声を再生することができる。なお、タイプスタンプは、基準時間をそのまま用いたものであってもよいし、所定の時間間隔ごとに基準時間を抽出したものであってもよい。

（ｃ）アバター情報
情報生成部１１０は、アバター情報の中に、配信ユーザにより使用されるアバターオブジェクトの識別情報を含めることができる。これにより、各視聴ユーザの端末装置１０は、予めサーバ装置２０等から受信して記憶した複数のアバターオブジェクトの中から、この識別情報に対応するアバターオブジェクトを取得することができる。

さらに、情報生成部１１０は、アバター情報の中に、例えば、配信ユーザにより使用されるアバターオブジェクトに関する以下の（i）～（iii）に示す情報を含めることができる。

（i）仮想空間におけるアバターオブジェクトの座標、例えば、ｘ軸（横方向に沿った軸）における座標、ｙ軸（奥行方向に沿った軸）における座標、及び、ｚ軸（鉛直方向に沿った軸）における座標を、単位時間ごとに記録した情報（アバター座標情報）
このようなアバター座標情報は、例えばアバターオブジェクトのアニメーションを生成する動画生成部１１０から取得することが可能である。
なお、仮想空間におけるアバターオブジェクトの座標は、特定の位置を基準として定められてもよい。ここで、特定の位置は、原点及び／又は初期位置を含み得る。
各視聴ユーザの端末装置１０は、このアバター座標情報を参照することにより、単位時間ごとに、仮想空間におけるアバターオブジェクトの位置を決定することができる。

（ii）仮想空間におけるアバターオブジェクトの方向（向き）を、単位時間ごとに記憶した情報（アバター方向情報）
アバターオブジェクトの方向（向き）は、例えば、仮想空間において鉛直方向（ｚ軸）に延びる軸を中心として、０度～３５９度のいずれかによって決定され得る（例えば、アバターオブジェクトが正面を向くときに０度が設定され、アバターオブジェクトが背面を向くときに１８０度が設定され得る）。
別の実施形態では、アバターオブジェクトの方向（向き）は、仮想空間において、特定の位置（初期位置及び原点等）を基準として、鉛直方向（ｚ軸）に延びる軸を中心として、右方向又は左方向に対して回転（変化）させた角度（変化量）によって決定されてもよい。
このようなアバター方向情報は、例えばアバターオブジェクトのアニメーションを生成する動画生成部１１０から取得することが可能である。
各視聴ユーザの端末装置１０は、このアバター方向情報を参照することにより、単位時間ごとに、仮想空間におけるアバターオブジェクトの方向（向き）を決定することができる。なお、アバター方向情報に適用される単位時間は、アバター座標情報に適用される単位時間と同一のものであっても異なるものであってもよい。

（iii）アバターオブジェクトの主要な部位の状態を、単位時間ごとに記録した情報（部位情報）
アバターオブジェクトにおける主要な部位とは、例えば、右目、左目、右眉、左眉、右頬、左頬、口、右耳、左耳、右手、左手、右足、及び／又は、左足等をこれらに限定することなく含むことができる。
アバター部位情報は、部位の識別情報と、この部位の状態を示す状態情報と、を対応付けて単位時間ごとに記録することができる。例えば、「右目」という部位に対応付けられた状態情報は、以下に例示した情報のうちのいずれか１つの情報をこれらに限定することなく含むことができる。
・右目が大きく見開かれ、黒目が右端に位置した状態を示す情報
・右目が大きく見開かれ、黒目が中央に位置した状態を示す情報
・右目が大きく見開かれ、黒目が左端に位置した状態を示す情報
・右目が中程度に見開かれ、黒目が右端に位置した状態を示す情報
・右目が中程度に見開かれ、黒目が中央に位置した状態を示す情報
・右目が中程度に見開かれ、黒目が左端に位置した状態を示す情報
・右目が閉じた状態を示す情報等（その他の任意の状態を示す情報が用いられてもよい）

このようなアバター部位情報は、例えばアバターオブジェクトのアニメーションを生成する（ために、アバターオブジェクトの座標を認識している）動画生成部１１０から取得することが可能である。
各視聴ユーザの端末装置１０は、この状態情報を参照することにより、単位時間ごとに、仮想空間におけるアバターオブジェクトの部位の状態を決定することができる。なお、アバター部位情報に適用される単位時間は、アバター座標情報及び／又はアバター方向情報に適用される単位時間と同一のものであっても異なるものであってもよい。

さらに、情報生成部１１０は、このようなアバター情報に対して、基準時間に基づいて生成されたタイムスタンプを所定の時間間隔をおいて付加することができる。各視聴ユーザの端末装置１０は、受信したアバター情報に含まれたタイムスタンプに同期させたタイミングで、この受信したアバター情報に含まれた、アバター座標情報、アバター方向情報、部位情報等の情報を適用することができる。なお、タイプスタンプは、基準時間をそのまま用いたものであってもよいし、所定の時間間隔ごとに基準時間を抽出したものであってもよい。

（ｄ）ギフトオブジェクト情報
情報生成部１１０は、ギフトオブジェクト情報の中に、配信ユーザに対して付与されたギフトに対応するアバターオブジェクトの識別情報を含めることができる。これにより、各視聴ユーザの端末装置１０は、予めサーバ装置２０等から受信して記憶した複数のギフトオブジェクトの中から、この識別情報に対応するギフトオブジェクトを取得することができる。

さらに、情報生成部１１０は、ギフトオブジェクト情報の中に、例えば、当該ギフトオブジェクトに関する以下の（i）及び（ii）に示す情報を含めることができる。なお、（ii）に示す情報はオプションとして使用され得るものである。

（i）仮想空間におけるギフトオブジェクトの座標、例えば、ｘ軸（横方向に沿った軸）における座標、ｙ軸（奥行方向に沿った軸）における座標、及び、ｚ軸（鉛直方向に沿った軸）における座標を、単位時間ごとに記録した情報（ギフトオブジェクト座標情報）
各視聴ユーザの端末装置１０は、このギフトオブジェクト座標情報を参照することにより、単位時間ごとに、仮想空間におけるギフトオブジェクトの位置を決定することができる。

各ギフトオブジェクトの動作は、予め定められたものであってもよい。この場合、ギフトオブジェクトの識別情報に対応付けて、そのギフトオブジェクトの動作に関する規則（仮想空間における上方から底面までｙ軸の周りに所定のレートで回転しながら落下する等）を示す情報が、記憶部１４０に記憶され得る。よって、情報生成部１１０は、ギフトオブジェクトの識別情報を検索キーとして、このギフトオブジェクトの動作に関する規則を示す情報を読み出すことができる。情報生成部１１０は、このように読みだした情報に基づいて、ギフトオブジェクト座標情報を生成することができる。

（ii）仮想空間におけるギフトオブジェクトの方向（向き）を、単位時間ごとに記憶した情報（ギフトオブジェクト方向情報）
ギフトオブジェクトの方向（向き）は、例えば、仮想空間において鉛直方向に延びる軸（例えば、ｚ軸）を中心として、０度～３５９度のいずれかによって決定され得る第１の方向を含むことができる。例えば、ギフトオブジェクトが正面を向くときに０度が設定され、ギフトオブジェクトが背面を向くときに１８０度が設定され得る。
さらに、ギフトオブジェクトの方向（向き）は、例えば、仮想空間において水平方向に延びる軸（例えば、ｙ軸）を中心として、０度～３５９度のいずれかによって決定され得る第２の方向と、を含むことができる。例えば、ギフトオブジェクトの頂点が上方に位置するときに０度が設定され、アバターオブジェクトの頂点が下方に位置するときに１８０度が設定され得る。
さらにまた、ギフトオブジェクトの方向（向き）は、例えば、仮想空間において水平方向に延びる軸（例えば、ｘ軸）を中心として、０度～３５９度のいずれかによって決定され得る第３の方向と、を含むことができる。例えば、ギフトオブジェクトの顔が正面を向くときに０度が設定され、ギフトオブジェクトの顔が底面を向くときに１８０度が設定され得る。

各ギフトオブジェクトの動作は、予め定められたものであってもよい。この場合、ギフトオブジェクトの識別情報に対応付けて、そのギフトオブジェクトの動作に関する規則（仮想空間における上方から底面までｙ軸の周りに所定のレートで回転しながら落下する等）を示す情報が、記憶部１４０に記憶され得る。よって、情報生成部１１０は、ギフトオブジェクトの識別情報を検索キーとして、このギフトオブジェクトの動作に関する規則を示す情報を読み出すことができる。情報生成部１１０は、このように読みだした情報に基づいて、ギフトオブジェクト方向情報を生成することができる。

各視聴ユーザの端末装置１０は、このギフトオブジェクト方向情報を参照することにより、単位時間ごとに、仮想空間におけるアバターオブジェクトの方向（向き）を決定することができる。なお、ギフトオブジェクト方向情報に適用される単位時間は、ギフトオブジェクト座標情報に適用される単位時間と同一のものであっても異なるものであってもよい。

さらに、情報生成部１１０は、このようなギフトオブジェクト情報に対して、基準時間に基づいて生成されたタイムスタンプを所定の時間間隔をおいて付加することができる。各視聴ユーザの端末装置１０は、受信したギフトオブジェクト情報に含まれたタイムスタンプに同期させたタイミングで、この受信したギフトオブジェクト情報に含まれた、ギフトオブジェクト座標情報及びギフトオブジェクト方向情報を適用することができる。なお、タイプスタンプは、基準時間をそのまま用いたものであってもよいし、所定の時間間隔ごとに基準時間を抽出したものであってもよい。

（３）通信部１２０
通信部１２０は、動画の配信及び／又は視聴に必要とされる様々な情報を、サーバ装置２０との間において通信することができる。また、通信部１２０は、端末装置１０が配信ユーザの端末装置として動作する場合には、動画をサーバ装置２０に送信し、この配信ユーザ宛てに送信されたギフト情報及び／又はコメント情報をサーバ装置２０から受信することができる。さらに、通信部１２０は、端末装置１０が視聴ユーザの端末装置として動作する場合には、配信ユーザの端末装置１０により送信された動画をサーバ装置２０から受信し、配信ユーザに対してギフト情報及び／又はコメント情報をサーバ装置２０に送信することができる。

（４）表示部１３０
表示部１３０は、動画の配信及び／又は視聴に必要とされる様々な情報を表示することができる。例えば、表示部１３０は、当該端末装置１０が配信ユーザの端末装置１０として動作する場合には、動画生成部１００から受信した、配信ユーザのアバターオブジェクトのアニメーション等を含む動画を表示することができる。さらに、表示部１３０は、当該端末装置１０が視聴ユーザの端末装置１０として動作する場合には、配信ユーザの端末装置１０からサーバ装置２０を介して受信した様々な情報を用いて、配信ユーザのアバターオブジェクトのアニメーション等を含む動画を表示することができる。

（５）記憶部１４０
記憶部１４０は、動画の配信及び／又は視聴に必要とされる様々な情報を記憶することができる。

（６）ユーザインタフェイス部１５０
ユーザインタフェイス部１５０は、動画の配信及び／又は視聴に必要とされる様々な情報をユーザの操作を介して入力することができる。

（７）ギフト処理部１６０
ギフト処理部１６０は、動画の配信及び／又は視聴に関して送受信されるギフト情報を処理することができる。例えば、ギフト処理部１６０は、当該端末装置１０が配信ユーザの端末装置１０として動作する場合には、この配信ユーザ宛てに送信されたギフト情報を処理することができる。また、ギフト処理部１６０は、当該端末装置１０が視聴ユーザの端末装置１０として動作する場合には、この視聴ユーザが送信するギフト情報を処理することができる。

３－２．サーバ装置２０の機能
サーバ装置２０の機能の一例について図４を参照して説明する。図４は、図１に示したサーバ装置２０の機能の一例を模式的に示すブロック図である。図４に示すように、サーバ装置２０は、主に、通信部２００と、記憶部２１０と、ギフト処理部２２０と、を含むことができる。

通信部２００は、動画の配信及び／又は視聴に必要とされる様々な情報を、配信ユーザの端末装置１０及び／又は視聴ユーザの端末装置１０との間において通信することができる。

記憶部２１０は、動画の配信及び／又は視聴に必要とされる様々な情報を記憶することができる。

ギフト処理部２２０は、各視聴ユーザから各配信ユーザ宛てに送信されたギフト情報を処理することができる。

３－３．スタジオユニット３０の機能
スタジオユニット３０は、上述したように、端末装置１０と同様の機能を果たすことが可能なものである。したがって、スタジオユニット３０は、図３を参照して説明した端末装置１０の機能を有することが可能なものである。

４．動画配信システム１の動作
図５は、図１に示した動画配信システム１において行われる動作の一例を示すフロー図である。なお、図５において、左側部分には、少なくとも１人の配信ユーザの端末装置１０により行われる動作が示され、中央部分には、サーバ装置２０（ここでは１つのサーバ装置２０）により行われる動作が示され、右側部分には、少なくとも１人の視聴ユーザの端末装置１０により行われる動作が示されている。

まず、配信ユーザは、その端末装置１０において動画配信用アプリケーションを起動させることにより、動画配信システム１における動作が開始される。

ステップ（以下「ＳＴ」という。）３００において、配信ユーザは、その端末装置１０を自身に対向させた状態において演技を行う。これにより、配信ユーザの端末装置１０の動画生成部１００は、配信ユーザのアバターオブジェクトのアニメーションを含む動画と、配信ユーザの発話に関する音声信号と、を生成することができる。

また、配信ユーザの端末装置１０の情報生成部１１０は、各視聴ユーザの端末装置１０による動画及び音声の再生を可能とするために、様々な情報を生成することができる。上記様々な情報には、上記「３－１（２）」項において述べたように、例えば、基準時間情報、音声情報及びアバター情報等が含まれ得る。

さらに、配信ユーザの端末装置１０の通信部１２０は、このような様々な情報をサーバ装置２０に送信する。上記様々な情報は、伝送される（伝送された）情報と基準時間に基づくタイムスタンプとの対応関係が配信ユーザの端末装置１０及び視聴ユーザの端末装置１０の両方において明らかであるという条件が満たされる限りにおいて、任意の多重方式により相互に多重されサーバ装置２０に送信されてもよい。このような条件が満たされていれば、各視聴ユーザの端末装置１０は、上記様々な情報を受信したときに、伝送された情報の各々を、その各々に対応するタイムスタンプに従って適切に処理することができる。多重方式については、アバター情報４００、音声情報４１０、基準時間情報４２０及び後述するギフトオブジェクト情報４３０は、それぞれ、別々のチャネルを介して送信されてもよいし、これらの情報のうちの複数が同一のチャネルを介して送信されてもよい。チャネルは、タイムスロット、周波数帯域、及び／又は、拡散符号等を含み得る。

次に、ＳＴ３００における動作と並行して、配信ユーザの端末装置１０の表示部１３０は、ＳＴ３０２において、動画生成部１００により生成された動画を、配信ユーザに対するフィードバックとして表示することができる。

配信ユーザの端末装置１０は、ＳＴ３００及びＳＴ３０２における動作を、以下に説明するＳＴ３０４～ＳＴ３１４における動作と並行して行うことができる。

次に、ＳＴ３０４において、サーバ装置２０は、配信ユーザの端末装置１０から継続的に送信されてくる上記様々な情報を、各視聴ユーザの端末装置１０に配信することができる。各視聴ユーザの端末装置１０は、動画視聴用アプリケーションを実行している。

ＳＴ３０６において、各視聴ユーザの端末装置１０の通信部１２０は、サーバ装置２０から上記様々な情報を受信して記憶部１４０に記憶させることができる。一実施形態では、音声情報が他の情報に比べて大きな容量を有する可能性及び／又は通信回線２に障害が発生する可能性を考慮して、各視聴ユーザの端末装置１０は、サーバ装置２０から受信した上記様々な情報を一時的に記憶部１４０に記憶（バッファリング）することができる。

このような様々な情報を受信及び記憶することに並行して、ＳＴ３０８において、各視聴ユーザの端末装置１０の表示部１３０は、配信ユーザの端末装置１０からサーバ装置２０を介して受信及び記憶した上記様々な情報を用いて、動画及び音声を再生することができる。

図６は、図１に示す動画配信システム１における各視聴ユーザの端末装置１０が受信した情報を用いて動画及び音声を再生する手法の一例を概念的に示す模式図である。図６に示すように、各視聴ユーザの端末装置１０は、アバター情報４００と、音声情報４１０と、基準時間情報４２０と、を受信することができる。なお、図６に示した例では、各視聴ユーザの端末装置１０は、この時点では、ギフトオブジェクト情報を受信していない。

各視聴ユーザの端末装置１０の表示部１３０は、記憶部１４０に記憶されている基準時間情報４２０を順次読み出し、読み出した基準時間情報４２０を処理することができる。具体的には、表示部１３０は、例えば基準時間情報４２０がＭＰＥＧファイル等である場合には、ＭＰＥＧファイル等を再生することにより、時間の経過とともに変化する基準時間４２２を取得することができる。図６には、このような基準時間４２２の一部として、「０１：１０：４１」（１時間１０分４１秒）という基準時間４２２ａ、「０１：１０：４２」（１時間１０分４２秒）という基準時間４２２ｂ、「０１：１０：４３」（１時間１０分４３秒）という基準時間４２２ｃ、「０１：１０：４４」（１時間１０分４４秒）という基準時間４２２ｄ、「０１：１０：４５」（１時間１０分４５秒）という基準時間４２２ｅが例示されている。すなわち、１秒ごとに基準時間４２２が得られる例が示されている。

さらに、表示部１３０は、記憶部１４０に記憶されている音声情報４１０を順次読み出し、読み出した音声情報４１０を処理することができる。図６には、音声情報４１０が連続的に繋がった情報を含む例が示されている。このような音声情報４１０には、所定の時間間隔（ここでは１秒間隔）をおいてタイムスタンプが付加されている。図６には、音声情報４１０に、「０１：１０：４１」（１時間１０分４１秒）、「０１：１０：４２」（１時間１０分４２秒）、「０１：１０：４３」（１時間１０分４３秒）、「０１：１０：４４」（１時間１０分４４秒）、・・・というタイムスタンプが付加されている例が示されている。

表示部１３０は、音声情報４１０に含まれたこのような各タイムスタンプが、基準時間情報４２０から取得された基準時間４２２に一致又は略一致するタイミングにおいて、音声情報４１０に含まれた各タイムスタンプに対応する音声信号を再生することができる。すなわち、表示部１３０は、音声情報４１０に含まれた各タイムスタンプを基準時間情報４２０に含まれた基準時間４２２に同期させながら、音声情報４１０に含まれた各タイムスタンプに対応する音声信号を再生することができる。

さらにまた、表示部１３０は、記憶部１４０に記憶されているアバター情報４００を順次読み出し、読み出したアバター情報４００を処理することができる。図６には、識別情報「Ｍ０００２３」が付与されたアバター情報４０２ａ、及び、識別情報「Ｍ０００２４」が付与されたアバター情報４０２ｂといった、相互に分離したアバター情報４００の一例が示されている。このように複数のアバター情報４００が連続的に繋がったものではなく相互に分離しているのは、アバター情報４００は、上述したように、単位時間ごとに（ここでは２秒間隔で）生成されるからである。

図６には、「０１：１０：４２」（１時間１０分４２秒）というタイムスタンプが付加されたアバター情報４０２ａ、及び、「０１：１０：４４」（１時間１０分４４秒）というタイムスタンプが付加されたアバター情報４０２ｂが示されている。

表示部１３０は、アバター情報４０２ａに含まれたタイムスタンプ（０１：１０：４２）を基準時間情報４２０に含まれた基準時間４２２ｂ（０１：１０：４２）に一致又は略一致するタイミングにおいて、アバター情報４０２ａに含まれた、アバター座標情報、アバター方向情報及び部位情報を適用することができる。すなわち、表示部１３０は、アバター情報４０２ａに含まれたタイムスタンプ（０１：１０：４２）を基準時間情報４２０に含まれた基準時間４２２ｂ（０１：１０：４２）に同期させながら、アバター情報４０２ａに含まれた、アバター座標情報、アバター方向情報及び部位情報を適用することができる。

アバター座標情報を適用することにより、アバター情報４０２ａに含まれた識別情報により識別されるアバターオブジェクトを、そのアバター座標情報により指定される座標に配置することができる。アバター方向情報を適用することにより、アバターオブジェクトを、そのアバター方向情報により指定される方向に回転させることができる。部位情報を適用することにより、アバターオブジェクトにおける各部位の状態を、その部位情報により指定される状態に変化させることができる。

表示部１３０は、アバター情報４０２ａと同様にアバター情報４０２ｂについても、アバター情報４０２ｂに含まれたタイムスタンプ（０１：１０：４４）を基準時間情報４２０に含まれた基準時間４２２ｂ（０１：１０：４４）に同期させながら、アバター情報４０２ｂに含まれた、アバター座標情報、アバター方向情報及び部位情報を適用することができる。

これにより、表示部１３０は、図８に例示されるように、（例えば単位時間ごとに生成された）アバター情報に指定される配信ユーザのアバターオブジェクト４５０が、（例えば単位時間ごとに生成された）アバター座標情報、アバター方向情報及び部位情報に基づいて仮想空間４６０において動作するアニメーションを生成することができる。

次に、図５に戻り、上述したＳＴ３０６及びＳＴ３０８における動作と並行して、ＳＴ３１０において、配信ユーザの端末装置１０により配信されている動画を視聴している各視聴ユーザは、その端末装置１０を用いて、その配信ユーザに対してギフトを付与する旨を示すギフト情報を送信することができる。このようなギフト情報は、例えば、付与すべきギフトの識別情報、配信ユーザの識別情報及び視聴ユーザの識別情報等を含むことができる。このようなギフト情報は、視聴ユーザの端末装置１０によりサーバ装置２０に送信される。

ＳＴ３１２において、サーバ装置３０は、各視聴ユーザの端末装置１０から受信したギフト情報を、このギフト情報に含まれた配信ユーザの識別情報に対応する配信ユーザの端末装置１０に送信する。

ＳＴ３１４において、配信ユーザの端末装置１０は、各視聴ユーザの端末装置１０により自己宛てに送信されたギフト情報を、サーバ装置２０を介して受信することができる。

ＳＴ３１６において、配信ユーザの端末装置１０は、基本的にＳＴ３００におけるものと同様の動作を行うことができる。さらに加えて、配信ユーザの端末装置１０は、ＳＴ３１４において受信したギフト情報に基づいて、上記「３－１（２）（ｄ）」項において説明したギフトオブジェクト情報（ギフトオブジェクト座標情報のみ又はこれに加えてギフトオブジェクト方向情報）をも生成することができる。

次に、ＳＴ３２０及びＳＴ３２２においては、各視聴ユーザの端末装置１０は、それぞれ、上述したＳＴ３０４及びＳＴ３０６におけるものと同様の動作を行うことができる。但し、配信ユーザの端末装置１０からサーバ装置２０を介して各視聴ユーザの端末装置１０に送信される様々な情報には、上述したＳＴ３１６においてギフト情報に基づいて生成されたギフトオブジェクト情報が含まれ得る。

次に、ＳＴ３２４において、各視聴ユーザの端末装置１０は、基本的に上述したＳＴ３０８におけるものと同様の動作を行うことができる。さらに加えて、各視聴ユーザの端末装置１０は、配信ユーザの端末装置１０からサーバ装置２０を介して受信及び記憶したギフトオブジェクト情報を含む様々な情報を用いて、動画及び音声を再生することができる。

図７は、図１に示す動画配信システム１における各視聴ユーザの端末装置１０が受信した情報を用いて動画及び音声を再生する手法の別の例を概念的に示す模式図である。図７に示すように、各視聴ユーザの端末装置１０は、アバター情報４００、音声情報４１０及び基準時間情報４２０に加えて、さらにギフトオブジェクト情報４３０を受信することができる。

各視聴ユーザの端末装置１０がどのように基準時間情報４２０、音声情報４１０及びアバター情報４００を用いるのかについては、ＳＴ３０８に関連して上述したとおりであるので、ここではその説明を省略する。

表示部１３０は、記憶部１４０に記憶されているギフトオブジェクト情報４３０を順次読み出し、読み出したギフトオブジェクト情報４３０を処理することができる。図７には、識別情報「Ｇ０１１１２」が付与されたギフトオブジェクト情報４３２ａ、識別情報「Ｇ０１１１３」が付与されたギフトオブジェクト情報４３２ｂ、及び、識別情報「Ｇ０１１１４」が付与されたギフトオブジェクト情報４３２ｃといった、相互に分離したギフトオブジェクト情報４３０の一例が示されている。このように複数のギフトオブジェクト情報４３０が連続的に繋がったものではなく相互に分離しているのは、ギフトオブジェクト情報４３０は、上述したように、単位時間ごとに（ここでは１秒間隔で）生成されるからである。

図７には、「０１：１５：０５」（１時間１５分０５秒）というタイムスタンプが付加されたギフトオブジェクト情報４３２ａ、「０１：１５：０６」（１時間１５分０６秒）というタイムスタンプが付加されたギフトオブジェクト情報４３２ｂ、及び、「０１：１５：０７」（１時間１５分０７秒）というタイムスタンプが付加されたギフトオブジェクト情報４３２ｃが示されている。

表示部１３０は、ギフトオブジェクト情報４３２ａに含まれたタイムスタンプ（０１：１５：０５）を基準時間情報４２０に含まれた基準時間４２２ｆ（０１：１５：０５）に一致又は略一致するタイミングにおいて、ギフトオブジェクト情報４３２ａに含まれた、ギフトオブジェクト座標情報及びギフトオブジェクト方向情報を適用することができる。すなわち、表示部１３０は、ギフトオブジェクト情報４３２ａに含まれたタイムスタンプ（０１：１５：０５）を基準時間情報４２０に含まれた基準時間４２２ｆ（０１：１５：０５）に同期させながら、ギフトオブジェクト情報４３２ａに含まれた、ギフトオブジェクト座標情報及びギフトオブジェクト方向情報を適用することができる。

ギフトオブジェクト座標情報を適用することにより、ギフトオブジェクト情報４３２ａに含まれた識別情報により識別されるギフトオブジェクトを、そのギフトオブジェクト座標情報により指定される座標に配置することができる。ギフトオブジェクト方向情報を適用することにより、ギフトオブジェクトを、そのギフトオブジェクト方向情報により指定される方向に回転させることができる。

表示部１３０は、ギフトオブジェクト情報４３２ａと同様に、ギフトオブジェクト情報４３２ｂについても、ギフトオブジェクト情報４３２ｂに含まれたタイムスタンプ（０１：１５：０６）を基準時間情報４２０に含まれた基準時間４２２ｇ（０１：１５：０６）に同期させながら、ギフトオブジェクト情報４３２ｂに含まれた、ギフトオブジェクト座標情報及びギフトオブジェクト方向情報を適用することができる。ギフトオブジェクト情報４３２ｃについても、ギフトオブジェクト情報４３２ａ及びギフトオブジェクト情報４３２ｂと同様に理解することが可能である。

これにより、表示部１３０は、図８に例示されるように、（例えば単位時間ごとに生成された）ギフトオブジェクト情報に指定されるギフトオブジェクト５００が、（例えば単位時間ごとに生成された）ギフトオブジェクト座標情報及びギフトオブジェクト方向情報に基づいて仮想空間４６０において動作するアニメーションを生成することができる。

具体的には、表示部１３０は、基準時間（０１：１５：０５）には、ギフトオブジェクト情報４３２ａにより指定された座標及び方向に従ってギフトオブジェクト５００Ａを配置したアニメーションを生成することができる。また、表示部１３０は、基準時間（０１：１５：０６）には、ギフトオブジェクト情報４３２ｂにより指定された座標及び方向に従ってギフトオブジェクト５００Ｂを配置したアニメーションを生成することができる。さらに、表示部１３０は、基準時間（０１：１５：０７）には、ギフトオブジェクト情報４３２ｃにより指定された座標及び方向に従ってギフトオブジェクト５００Ｃを配置したアニメーションを生成することができる。これにより、表示部１３０は、ギフトオブジェクト５００Ａ（５００）が表示された時点から約１秒後に、ｙ軸の周りに９０度方向を回転させかつ落下したギフトオブジェクト５００Ｂ（５００）を表示し、その時点から約１秒後に、ｙ軸の周りにさらに９０度方向を回転させかつ落下したギフトオブジェクト５００Ｃ（５００）を表示することができる。

図７を参照すると、ギフトオブジェクト情報４３２ａ、ギフトオブジェクト情報４３２ｂ及びギフトオブジェクト情報４３２ｃに対して、それぞれ、基準時間４２２ｆに基づくタイムスタンプ（０１：１５：０５）、基準時間４２２ｇ（０１：１５：０６）に基づくタイムスタンプ及び基準時間４２２ｈ（０１：１５：０７）に基づくタイムスタンプが付加されている。同様に、音声情報４１０においても、「熊ちゃんギフトが届いた！」という音声信号に対して、基準時間４２２ｇ（０１：１５：０６）に基づくタイムスタンプが付加され、「熊ちゃんが頭を床にぶつけたよ」という音声信号に対して、基準時間４２２ｉ（０１：１５：０８）に基づくタイムスタンプが付加されている。

したがって、これらの情報を用いる各視聴ユーザの端末装置１０においては、動画にギフトオブジェクト５００Ａ（５００）が登場した直後に、「熊ちゃんギフトが届いた！」という配信ユーザの音声が再生される。また、動画においてギフトオブジェクト５００Ｃが床に当接した直後に、「熊ちゃんが頭を床にぶつけたよ」という配信ユーザの音声が再生される。

なお、図７には、ギフトオブジェクト情報４３２ａに付加されたタイムスタンプとギフトオブジェクト情報４３２ｂに付加されたタイムスタンプとの間の時間間隔（１秒）と、ギフトオブジェクト情報４３２ｂに付加されたタイムスタンプとギフトオブジェクト情報４３２ｃに付加されたタイムスタンプとの間の時間間隔（１秒）と、が同一である例が示されている。しかし、別の実施形態では、これらの時間間隔は同一であっても異なるものであってもよい。これは、アバター情報４０２ｃに付加されたタイムスタンプとアバター情報４０２ｄに付加されたタイムスタンプとの間の時間間隔（２秒）と、アバター情報４０２ｄに付加されたタイムスタンプとアバター情報４０２ｅ（図示せず）に付加されたタイムスタンプとの間の時間間隔との関係に対しても、同様に適用可能なものである。

図５に戻り、ＳＴ３２６において、処理を続行するか否かが判定される。処理を続行することが判定された場合には、処理は上述したＳＴ３００に戻る。一方、処理を続行しないことが判定された場合には、処理は終了する。

５．変形例
上述した様々な実施形態では、図８に例示されるように、配信ユーザに対して視聴ユーザによりギフトが付与された場合、配信ユーザの端末装置１０から各視聴ユーザの端末装置１０に配信される動画には、そのギフトに対応するギフトオブジェクト５００のみが表示される。別の実施形態では、配信ユーザに対して視聴ユーザによりギフトが付与された場合、配信ユーザの端末装置１０から各視聴ユーザの端末装置１０に配信される動画には、そのギフトに対応するギフトオブジェクト６００に組み合わせて、そのギフトを付与した視聴ユーザに関する情報が表示されるようにしてもよい。そのギフトを付与した視聴ユーザに関する情報の一例として、図８には、その視聴ユーザの氏名又はハンドルネーム３００Ａが用いられ得る。これに代えて又はこれに加えて、その視聴ユーザのアバターオブジェクトの少なくとも一部（図示せず）が用いられるようにしてもよい。これを実現するためには、例えば、配信ユーザの端末装置１０は、ギフトオブジェクト情報の中に、そのギフトを付与した視聴ユーザに関する情報を含めることができる。

これにより、各視聴ユーザは、配信ユーザにより配信される動画に、自己が配信ユーザにギフトを付与した行為に伴って自己に関連した情報が表示される。この結果、配信ユーザに対して積極的にギフトを付与しようとする意欲を、各視聴ユーザに与えることができる。

また、配信ユーザにより配信される動画に、多数のギフトオブジェクトが表示される場合であっても、これら多数のギフトオブジェクトのうちの少なくとも一部のギフトオブジェクトに組み合わせて、該少なくとも一部のギフトオブジェクトの各々に対応する視聴ユーザに関する情報が表示されることにより、当該各視聴ユーザは、これら多数のギフトオブジェクトの中から、自己が配信ユーザに付与したギフトに対応するギフトオブジェクトを迅速にかつ確実に識別することができる。

また、上述した様々な実施形態では、アバター情報４００は、配信ユーザの動作における変化の有無に関係なく単位時間ごとに生成される場合について説明した。別の実施形態では、配信ユーザの端末装置１０から各視聴ユーザの端末装置１０に送信される情報の量をさらに抑えるために、アバター情報４００は、配信ユーザの動作に変化が生じた期間のみについて、単位時間ごとに及び／又は任意の時間において、生成されるものであってもよい。

さらに、上述した様々な実施形態では、配信ユーザが動画の配信中に発話をし続ける可能性が高いことを考慮して、音声情報４１０は連続的に繋がった形態（例えばＭＰＥＧファイル等）をとる場合について説明した。別の実施形態では、音声情報４１０は、配信ユーザが発話を行った期間のみについて生成されるようにしてもよい。この場合であっても、生成される各々の音声情報には、単位時間ごとに及び／又は任意の時間において、基準時間に基づくタイムスタンプが付与されることが好ましい。

さらにまた、図８に例示された例では、各視聴ユーザから配信ユーザにより配信される動画に対する反応を送信する手段として、ギフトを付与することを例示した。これに加えて、又は、これに代えて、各視聴ユーザの端末装置１０から配信ユーザの端末装置１０に対してサーバ装置２０を介して、配信ユーザ及び／又は動画に関するコメントを示すコメント情報を送信する手法を採用することも可能である。

このようなコメント情報は、例えば以下に示す情報を含むことができる。
・コメントの内容を示す情報
・コメント情報の受信先である配信ユーザの識別情報
・コメント情報の送信元である視聴ユーザの識別情報

このようなコメント情報は、各視聴ユーザの端末装置１０からサーバ装置２０に送信される。サーバ装置２０は、コメント情報に含まれた配信ユーザの識別情報に基づいて、この配信ユーザの端末装置１０に送信される。配信ユーザの端末装置１０は、受信したコメント情報に基づいて、コメント参照情報を生成することができる。

コメント参照情報は、例えば以下に示す情報を含むことができる。
・コメントの内容を示す情報
・コメント情報を送信した視聴ユーザに関する情報（氏名、ハンドルネーム、及び／又は、アバターオブジェクトの少なくとも一部）
このようなコメント情報もまた、上述したギフトオブジェクト情報と同様に、基準時間に基づくタイムスタンプが付与され得る。

このようなコメント参照情報を受信した各視聴ユーザの端末装置１０は、このコメント参照情報を上述したギフトオブジェクト情報と同様の手法により適用することができる。これにより、視聴ユーザの端末装置１０の表示部１３０は、受信した基準情報に同期させつつ、コメント参照情報を処理して表示することができる。

また、上述した様々な実施形態では、好ましい実施形態として、アバター情報４００にも基準情報に基づくタイムスタンプが付加される場合について説明した。別の実施形態では、例えば、配信ユーザのアバターオブジェクトの動作と配信ユーザの発話に基づく音声とを正確に同期させる必要がない場合等には、アバター情報４００に基準時間に基づくタイムスタンプを付加する必要はない。

さらに、上述した様々な実施形態では、好ましい実施形態として、音声情報４１０に常に基準時間に基づくタイムスタンプが単位時間ごとに又は任意の時間に付加される場合について説明した。別の実施形態では、配信ユーザに対してギフトが付与されることに伴ってギフトオブジェクト情報４３０を送信する必要が生じたタイミングにおいてのみ、音声情報４１０に基準時間に基づくタイムスタンプが単位時間ごとに又は任意の時間に付加されるようにしてもよい。これにより、各視聴ユーザの端末装置１０は、ギフトオブジェクト情報４１０を受信する度に、このギフトオブジェクト情報４１０に付加されたタイムスタンプに基づいて、このギフトオブジェクト情報４１０を音声情報４２０に同期させつつ処理することができる。

さらにまた、上述した様々な実施形態では、好ましい実施形態として、ギフトオブジェクト情報４３０は、ギフトオブジェクトの識別情報、ギフトオブジェクト座標情報及びギフトオブジェクト方向情報を含む場合について説明した。別の実施形態では、ギフトオブジェクト情報４３０は、ギフトオブジェクトの識別情報及びギフトオブジェクト座標情報のみを含むものであってもよい（ギフトオブジェクト方向情報はオプションとして使用可能である）。

なお、上述した様々な実施形態では、配信ユーザの端末装置１０が、配信ユーザの動作情報（動作データ）に基づいて生成されたアバターオブジェクトに関する情報（アバターオブジェクト情報）を、各視聴ユーザの端末装置１０に送信することにより、各視聴ユーザの端末装置１０が、アバターオブジェクト情報に基づいて、アバターオブジェクトのアニメーションを含む動画を生成する場合について説明した。別の実施形態では、配信ユーザの端末装置１０が、配信ユーザの動作情報を各視聴ユーザの端末装置１０に送信することにより、各視聴ユーザの端末装置１０が、この動作情報に基づいて、アバターオブジェクトのアニメーションを含む動画を生成することも可能である。この場合には、配信ユーザの端末装置１０から各視聴ユーザの端末装置１０に送信される動作情報には、基準情報に基づくタイムスタンプが、単位時間ごとに又は任意の時間に付加されることが必要である。なお、各視聴ユーザの端末装置１０の動画生成部１００は、上記「３－１（１）」項において説明したものと同様の手法により、アバターオブジェクトのアニメーションを含む動画を生成することが可能である。

また、以上の説明において、ギフトオブジェクト情報等に対して「基準時間に基づくタイムスタンプが付加されている」こととは、ギフトオブジェクト情報が基準時間に対応付けられている」ことに対応するものである。

以上説明した様々な実施形態において、上述した各端末装置１０の動作は、この端末装置１０と同様の構成を有するスタジオユニット３０によっても同様に実行可能なものである。

なお、上述した様々な実施形態は、矛盾の生じない限りにおいて、相互に組み合わせて実装することが可能なものである。

以上説明したように、本件出願において開示された様々な実施形態では、配信ユーザの端末装置１０から各視聴ユーザの端末装置１０に対して動画を送信することなく、各視聴ユーザの端末装置１０は、配信ユーザの動作に基づくアバターオブジェクトのアニメーションを含む動画を再生することができる。よって、配信ユーザの端末装置１０から各視聴ユーザの端末装置１０に送信される情報の量を抑えることができる。これにより、各視聴ユーザの端末装置１０は、通信網２に生ずる障害に起因する影響を抑えつつ動画を再生することができる。

さらに、各視聴ユーザの端末装置１０は、配信ユーザの端末装置１０から、基準時間に基づくタイムスタンプが付加されたギフトオブジェクト情報４３０及び音声情報４２０を受信し、ギフトオブジェクトの表示及び音声の再生の両方を同一の基準時間に同期させることができる。これにより、各視聴ユーザの端末装置１０は、ギフトオブジェクトの表示と音声の再生とを同期させることができる。このような同期は、通信網２に障害が生じているか否か、及び、各視聴ユーザの端末装置１０が音声情報４２０をバッファリングして再生するか否か等の影響を受け難いものである。

したがって、本件出願に開示された様々な実施形態によれば、各視聴ユーザの端末装置において、音声を再生するタイミングとギフトに対応するオブジェクトを描画するタイミングとの間におけるずれを少なくとも部分的に抑えることができる。

６．付記
第１の態様に係るコンピュータプログラムは、「少なくとも１つのプロセッサにより実行されることにより、配信ユーザの動作に関する動作情報に基づいて生成される該配信ユーザのアバターオブジェクトのアニメーションと、該配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトのアニメーションと、を含む動画を生成することが可能であり、基準時間に対応付けられた前記ギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して複数の視聴ユーザの端末装置に向けて送信する、ように前記プロセッサを機能させる」ことができる。

第２の態様に係るコンピュータプログラムは、上記第１の態様において「前記座標情報が、前記基準時間における第１の時間に対応する前記ギフトオブジェクトの座標に関する情報と、前記基準時間における前記第１の時間の後に生ずる第２の時間に対応する前記ギフトオブジェクトの座標に関する情報と、前記基準時間における前記第２の時間の後に生ずる第３の時間に対応する前記ギフトオブジェクトの座標に関する情報と、を含む」ことができる。

第３の態様に係るコンピュータプログラムは、上記第２の態様又は上記第３の態様において「前記座標情報が、前記基準時間に対応付けられた前記アバターオブジェクトの座標に関する情報をさらに含む」ことができる。

第４の態様に係るコンピュータプログラムは、上記第３の態様において「前記座標情報が、前記基準時間における第１の時間に対応する前記アバターオブジェクトの座標に関する情報と、前記基準時間における前記第１の時間の後に生ずる第２の時間に対応する前記アバターオブジェクトの座標に関する情報と、前記基準時間における前記第２の時間の後に生ずる第３の時間に対応する前記アバターオブジェクトの座標に関する情報と、を含む」ことができる。

第５の態様に係るコンピュータプログラムは、上記第２の態様又は上記第４の態様において「前記第１の時間と前記第２の時間との間隔が、該第２の時間と前記第３の時間との間隔と同一であるか又は異なる」ことができる。

第６の態様に係るコンピュータプログラムは、上記第１の態様から上記第５の態様のいずれかにおいて「前記基準時間に対応付けられた前記動作情報を前記複数の視聴ユーザの端末装置に向けて送信する」ことができる。

第７の態様に係るコンピュータプログラムは、上記第１の態様から上記第６の態様のいずれかにおいて「前記ギフトオブジェクトを識別する識別情報を前記複数の視聴ユーザの端末装置に向けて送信する」ことができる。

第８の態様に係るコンピュータプログラムは、上記第１の態様から上記第７の態様のいずれかにおいて「前記通信回線がインターネットを含む」ことができる。

第９の態様に係るコンピュータプログラムは、上記第１の態様から上記第８の態様のいずれかにおいて「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」ことができる。

第１０の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、配信ユーザの動作に関する動作情報に基づいて生成される該配信ユーザのアバターオブジェクトのアニメーションと、該配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトのアニメーションと、を含む動画を生成することが可能である工程と、基準時間に対応付けられた前記ギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して複数の視聴ユーザの端末装置に向けて送信する工程と、を含む」ことができる。

第１１の態様に係る方法は、上記第１０の態様において「前記通信回線がインターネットを含む」ことができる。

第１２の態様に係る方法は、上記第１０の態様又は上記第１１の態様において「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」ことができる。

第１３の態様に係るコンピュータプログラムは、「少なくとも１つのプロセッサにより実行されることにより、基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信し、前記座標情報を用いて前記ギフトオブジェクトのアニメーションと前記配信ユーザのアバターオブジェクトのアニメーションとを含む動画を生成し、前記音声情報を用いて前記配信ユーザの発話に基づく音声信号を生成する、ように前記プロセッサを機能させる」ことができる。

第１４の態様に係るコンピュータプログラムは、上記第１３の態様において「前記通信回線がインターネットを含む」ことができる。

第１５の態様に係るコンピュータプログラムは、上記第１３の態様又は上記第１４の態様において「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」ことができる。

第１６の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信する工程と、前記座標情報を用いて前記ギフトオブジェクトのアニメーションと前記配信ユーザのアバターオブジェクトのアニメーションとを含む動画を生成する工程と、前記音声情報を用いて前記配信ユーザの発話に基づく音声信号を生成する工程と、を含む」ことができる。

第１７の態様に係る方法は、上記第１６の態様において「前記通信回線がインターネットを含む」ことができる。

第１８の態様に係る方法は、上記第１６の態様又は上記第１７の態様において「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」ことができる。

第１９の態様に係るサーバ装置は、「少なくとも１つのプロセッサを具備し、該プロセッサが、基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信し、前記座標情報及び前記音声情報を、通信回線を介して複数の視聴ユーザの端末装置に送信することにより、前記配信ユーザの動作に関する動作情報に基づいて生成される前記配信ユーザのアバターオブジェクトのアニメーションと前記ギフトオブジェクトのアニメーションとを含む動画、及び、前記配信ユーザの発話に基づく音声信号を、前記複数の視聴ユーザの端末装置に生成させる」ことができる。

第２０の態様に係るサーバ装置は、上記第１９の態様において「前記通信回線がインターネットを含む」ことができる。

第２１の態様に係るサーバ装置は、上記第１９の態様又は上記第２０の態様において「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」ことができる。

第２２の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトの座標に関する情報を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信する工程と、前記座標情報及び前記音声情報を、通信回線を介して複数の視聴ユーザの端末装置に送信することにより、前記配信ユーザの動作に関する動作情報に基づいて生成される前記配信ユーザのアバターオブジェクトのアニメーションと前記ギフトオブジェクトのアニメーションとを含む動画、及び、前記配信ユーザの発話に基づく音声信号を、前記複数の視聴ユーザの端末装置に生成させる工程と、を含む」ことができる。

第２３の態様に係る方法は、上記第２２の態様において「前記通信回線がインターネットを含む」ことができる。

第２４の態様に係る方法は、上記第２２の態様又は上記第２３の態様において「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」ことができる。

１ 動画配信システム
２ 通信網（通信回線）
１０（１０Ａ～１０Ｃ） 端末装置
２０（２０Ａ～２０Ｃ） サーバ装置
３０（３０Ａ、３０Ｂ） スタジオユニット
１００ 動画生成部
１１０ 情報生成部
１２０ 通信部
１３０ 表示部
１４０ 記憶部
１５０ ユーザインタフェイス部
１６０ ギフト処理部
２００ 通信部
２１０ 記憶部
２２０ ギフト処理部
４００、４０２ａ～４０２ｄ アバター情報
４１０ 音声情報
４２０ 基準時間情報
４２２ａ～４２２ｊ 基準時間
４３０、４３２ａ～４３２ｃ ギフトオブジェクト情報
４５０ アバターオブジェクト
５００、６００ ギフトオブジェクト

Claims (26)

1. 少なくとも１つのプロセッサにより実行されることにより、
   配信ユーザの動作に関する動作情報に基づいて生成される該配信ユーザのアバターオブジェクトのアニメーションと、該配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトのアニメーションと、を含む動画を生成することが可能であり、
   基準時間に対応付けられた、前記配信ユーザに対して前記視聴ユーザにより付与され予め定められた規則に従って該配信ユーザの動作に同期せずに動作する前記ギフトオブジェクトの座標を示す情報と、前記基準時間に対応付けられた又は対応付けられていない前記アバターオブジェクトの座標を示す情報と、を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して複数の視聴ユーザの端末装置に向けて送信する、
   ように前記プロセッサを機能させることを特徴とするコンピュータプログラム。
2. 前記座標情報は、前記配信ユーザの動作において変化が生じた期間のみについて、前記アバターオブジェクトの座標を示す情報を含む、請求項１に記載のコンピュータプログラム。
3. 前記アバターオブジェクトの座標を示す情報は、
   前記アバターオブジェクトの動作と前記音声情報とを同期させる必要がある場合、前記基準時間に対応付けられ、
   前記アバターオブジェクトの動作と前記音声情報とを同期させる必要がない場合、前記基準時間に対応付けられない、請求項１に記載のコンピュータプログラム。
4. 前記音声情報は、
   前記ギフトオブジェクトの座標を示す情報を送信する必要がある場合、前記基準時間に対応付けられ、
   前記ギフトオブジェクトの座標を示す情報を送信する必要がない場合、前記基準時間に対応付けられない、請求項１に記載のコンピュータプログラム。
5. 前記ギフトオブジェクトの座標を示す情報に加えて、該ギフトオブジェクトを前記配信ユーザに対して付与した前記視聴ユーザに関する情報を、前記複数の視聴ユーザの端末装置に向けて送信する、
   ように前記プロセッサを機能させる、請求項１に記載のコンピュータプログラム。
6. 前記通信回線がインターネットを含む、請求項１から請求項５のいずれかに記載のコンピュータプログラム。
7. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）である、請求項１から請求項６のいずれかに記載のコンピュータプログラム。
8. コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、
   前記プロセッサが、前記命令を実行することにより、
   配信ユーザの動作に関する動作情報に基づいて生成される該配信ユーザのアバターオブジェクトのアニメーションと、該配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って動作するギフトオブジェクトのアニメーションと、を含む動画を生成することが可能である工程と、
   基準時間に対応付けられた、前記配信ユーザに対して前記視聴ユーザにより付与され予め定められた規則に従って該配信ユーザの動作に同期せずに動作する前記ギフトオブジェクトの座標を示す情報と、前記基準時間に対応付けられた又は対応付けられていない前記アバターオブジェクトの座標を示す情報と、を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して複数の視聴ユーザの端末装置に向けて送信する工程と、
   を含むことを特徴とする方法。
9. 前記通信回線がインターネットを含む、請求項８に記載の方法。
10. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）である、請求項８又は請求項９に記載の方法。
11. 少なくとも１つのプロセッサにより実行されることにより、
    基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って該配信ユーザの動作に同期せずに動作するギフトオブジェクトの座標を示す情報と、前記基準時間に対応付けられた又は対応付けられていない前記配信ユーザのアバターオブジェクトの座標を示す情報と、を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信し、
    前記座標情報を用いて前記ギフトオブジェクトのアニメーションと前記アバターオブジェクトのアニメーションとを含む動画を生成し、
    前記音声情報を用いて前記配信ユーザの発話に基づく音声信号を生成する、
    ように前記プロセッサを機能させることを特徴とするコンピュータプログラム。
12. 前記動画において、前記ギフトオブジェクトは予め定められた規則に従って動作するように表示される、請求項１１に記載のコンピュータプログラム。
13. 前記動画において、前記ギフトオブジェクトは前記配信ユーザの動作に同期せずに動作するように表示される、請求項１１又は請求項１２に記載のコンピュータプログラム。
14. 前記動画において、前記ギフトオブジェクトは前記アバターオブジェクトとは距離をおいて配置されるように表示される、請求項１１から請求項１３のいずれかに記載のコンピュータプログラム。
15. 前記動画において、前記アバターオブジェクトは前記配信ユーザの動作に同期して動作するように表示される、請求項１１から請求項１４のいずれかに記載のコンピュータプログラム。
16. 前記通信回線がインターネットを含む、請求項１１から請求項１５のいずれかに記載のコンピュータプログラム。
17. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）である、請求項１１から請求項１５のいずれかに記載のコンピュータプログラム。
18. コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、
    前記プロセッサが、前記命令を実行することにより、
    基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って該配信ユーザの動作に同期せずに動作するギフトオブジェクトの座標を示す情報と、前記基準時間に対応付けられた又は対応付けられていない前記配信ユーザのアバターオブジェクトの座標を示す情報と、を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信する工程と、
    前記座標情報を用いて前記ギフトオブジェクトのアニメーションと前記アバターオブジェクトのアニメーションとを含む動画を生成する工程と、
    前記音声情報を用いて前記配信ユーザの発話に基づく音声信号を生成する工程と、
    を含むことを特徴とする方法。
19. 前記通信回線がインターネットを含む、請求項１８に記載の方法。
20. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）である、請求項１８又は請求項１９に記載の方法。
21. 少なくとも１つのプロセッサを具備し、
    該プロセッサが、
    基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って該配信ユーザの動作に同期せずに動作するギフトオブジェクトの座標を示す情報と、前記基準時間に対応付けられた又は対応付けられていない前記配信ユーザのアバターオブジェクトの座標を示す情報と、を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信し、
    前記座標情報及び前記音声情報を、通信回線を介して複数の視聴ユーザの端末装置に送信することにより、前記配信ユーザの動作に関する動作情報に基づいて生成される前記アバターオブジェクトのアニメーションと前記ギフトオブジェクトのアニメーションとを含む動画、及び、前記配信ユーザの発話に基づく音声信号を、前記複数の視聴ユーザの端末装置に生成させる、
    ことを特徴とするサーバ装置。
22. 前記通信回線がインターネットを含む、請求項２１に記載のサーバ装置。
23. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）である、請求項２１又は請求項２２に記載のサーバ装置。
24. コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される方法であって、
    前記プロセッサが、前記命令を実行することにより、
    基準時間に対応付けられた、配信ユーザに対して視聴ユーザにより付与され予め定められた規則に従って該配信ユーザの動作に同期せずに動作するギフトオブジェクトの座標を示す情報と、前記基準時間に対応付けられた又は対応付けられていない前記配信ユーザのアバターオブジェクトの座標を示す情報と、を含む座標情報、及び、前記基準時間に対応付けられた前記配信ユーザの発話に関する音声情報を、通信回線を介して前記配信ユーザの端末装置から受信する工程と、
    前記座標情報及び前記音声情報を、通信回線を介して複数の視聴ユーザの端末装置に送信することにより、前記配信ユーザの動作に関する動作情報に基づいて生成される前記アバターオブジェクトのアニメーションと前記ギフトオブジェクトのアニメーションとを含む動画、及び、前記配信ユーザの発話に基づく音声信号を、前記複数の視聴ユーザの端末装置に生成させる工程と、
    を含むことを特徴とする方法。
25. 前記通信回線がインターネットを含む、請求項２４に記載の方法。
26. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）である、請求項２４又は請求項２５に記載の方法。

Images