JP7774331B2 - コンピュータプログラム、方法、システム及びサーバ装置 - Google Patents

Description

本件出願に開示された技術は、コンピュータプログラム、方法、システム及びサーバ装置等に関する。

従来から、ユーザの動きに基づくアバターオブジェクトのアニメーションを含む動画を配信する情報処理システムが知られている（例えば、特許文献１参照）。

特開２０１５－１８４６８９号公報

近年、視聴者が利用する端末装置として、ヘッドマウントディスプレイ（ＨＭＤ）及びスマートグラス等を含む、配信者の身体に装着等される様々なトラッキング装置が利用されることが考えられる。

したがって、本件出願に開示された技術は、視聴者の身体に装着等されるトラッキング装置を利用して動画を表示する手法を提供する。

一態様に係るコンピュータプログラムは「端末装置に搭載された少なくとも１つのプロセッサにより実行されることにより、前記端末装置のユーザである自ユーザの動作に基づいて動作し、前記自ユーザの視点から見える現実空間に関する第１動画を表示し、前記第１動画において前記自ユーザが第１所定アクションを実行したと判定された場合に、前記自ユーザとは異なる第１ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、ように前記少なくとも１つのプロセッサを機能させる」ことができる。

一態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する端末装置に搭載された少なくとも１つのプロセッサにより実行される方法であって、前記少なくとも１つのプロセッサが、前記命令を実行することにより、前記端末装置のユーザである自ユーザの動作に基づいて動作し、前記自ユーザの視点から見える現実空間に関する第１動画を表示すること、及び、前記第１動画において前記自ユーザが所定アクションを実行したと判定された場合に、前記自ユーザとは異なる第１ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示すること、を含む」ことができる。

一態様に係るシステムは、「第１端末装置と、前記第１端末装置に通信回線を介して接続されるサーバ装置と、を含むシステムであって、前記サーバ装置は、前記第１端末装置の第１ユーザとは異なる第２ユーザの第２端末装置から受信した前記第２ユーザの動作に基づいて生成された第１動作データを、前記第１端末装置に送信する、ように構成され、前記第１端末装置は、前記第１動作データを前記サーバ装置から受信し、前記第１ユーザの動作に基づいて生成された第２動作データを取得し、前記第２動作データに基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示し、前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１動作データに基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、ように構成され」得る。

別の態様に係る方法は、「第１端末装置と、前記第１端末装置に通信回線を介して接続されるサーバ装置と、を含むシステムにより実行される方法であって、前記サーバ装置が、前記第１端末装置の第１ユーザとは異なる第２ユーザの第２端末装置から受信した前記第２ユーザの動作に基づいて生成された第１動作データを、前記第１端末装置に送信すること、前記第１端末装置が、前記第１動作データを前記サーバ装置から受信すること、前記第１端末装置が、前記第１ユーザの動作に基づいて生成された第２動作データを取得すること、前記第１端末装置が、前記第２動作データに基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示すること、及び、前記第１端末装置が、前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１動作データに基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示すること、を含む」ことができる。

一態様に係るサーバ装置は、「少なくとも１つのプロセッサを具備するサーバ装置であって、前記少なくとも１つのプロセッサがコンピュータプログラムを含むウェブページを端末装置に送信するように構成され、前記コンピュータプログラムが、前記ウェブページを受信した前記端末装置により実行されることにより、前記端末装置の第１ユーザの動作に基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示し、前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１ユーザとは異なる第２ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、ように前記端末装置を機能させる」構成を採ることができる。

別の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行するサーバ装置に搭載された少なくとも１つのプロセッサにより実行される方法であって、前記少なくとも１つのプロセッサが、前記命令を実行することにより、コンピュータプログラムを含むウェブページを端末装置に送信することを含み、前記コンピュータプログラムが、前記ウェブページを受信した前記端末装置により実行されることにより、前記端末装置の第１ユーザの動作に基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示し、前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１ユーザとは異なる第２ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、ように前記端末装置を機能させる、」ことができる。

図１は、一実施形態に係る通信システムの構成の一例を示すブロック図である。 図２は、図１に示した通信システム１において用いられる端末装置２０のハードウェア構成の一例を示すブロック図である。 図３は、図１に示した通信システム１において、第１トラッキング方式に基づく動作データを生成すべく端末装置２０等に接続可能な装置の一例を示す模式図である。 図４Ａは、図１に示した通信システム１により実現されるプラットフォームを用いた動画の提供に関する第１ケースを説明する模式図である。 図４Ｂは、図１に示した通信システム１により実現されるプラットフォームを用いた動画の提供に関する第１ケースを説明する模式図である。 図５Ａは、図１に示した通信システム１により実現されるプラットフォームを用いた動画の提供に関する第２ケースを説明する模式図である。 図５Ｂは、図１に示した通信システム１により実現されるプラットフォームを用いた動画の提供に関する第２ケースを説明する模式図である。 図６Ａは、図１に示した通信システム１により実現されるプラットフォームを用いた動画の提供に関する第３ケースを説明する模式図である。 図６Ｂは、図１に示した通信システム１により実現されるプラットフォームを用いた動画の提供に関する第３ケースを説明する模式図である。 図７は、図１に示した通信システム１において第１配信者の端末装置により表示される第１配信者動画の一例を示す図である。 図８は、図１に示した通信システム１において第１配信者の端末装置により表示される第２配信者動画の一例を示す図である。 図９は、図１に示した通信システム１において第１配信者の端末装置により表示される第１配信者動画及び第２配信者動画の別の例を示す図である。 図１０は、図１に示した通信システム１において視聴者Ａの端末装置により表示される第１視聴者動画の一例を示す図である。 図１１は、図１に示した通信システム１において第１配信者の端末装置により表示される第１配信者動画の別の例を示す図である。 図１２は、図１に示した通信システム１において第１配信者の端末装置により表示される第２配信者動画の別の例を示す図である。 図１３は、図１に示した通信システム１において実行される動作の一例を示すフロー図である。 図１４は、図１に示す通信システムにおいて端末装置により「準備モード」の実行に際して表示される画面の一例を示す図である。 図１５は、図１に示す通信システムにおいて端末装置により「視聴モード」の実行に際して表示される第１視聴者動画７００の一例を示す図である。 図１６は、図１に示す通信システムにおいて端末装置により第１所定アクションが実行されたと判定された場合に表示される第１視聴者動画８００の一例を示す図である。 図１７は、第１視聴者動画８００が表示された後に図１に示す通信システムにおいて端末装置により第１所定アクションが実行されたと判定された場合に表示される第１視聴者動画９００の一例を示す図である。 図１８は、第１視聴者動画８００が表示された後に図１に示す通信システムにおいて端末装置により第１所定アクションが実行されたと判定された場合に表示される第１視聴者動画１０００の一例を示す図である。 図１９は、図１に示す通信システムにおいて端末装置により第２所定アクションが実行されたと判定された場合に表示される第１視聴者動画１１００の一例を示す図である。 図２０は、図１に示す通信システムにおいて端末装置により第２所定アクションが実行されたと判定された場合に表示される第１視聴者動画１２００の一例を示す図である。 図２１は、第１視聴者動画８００が表示された後に図１に示す通信システムにおいて端末装置により第３所定アクションが実行されたと判定された場合に表示される第１視聴者動画１３００の一例を示す図である。 図２２は、第１視聴者動画８００が表示された後に図１に示す通信システムにおいて端末装置により第４所定アクションが実行されたと判定された場合に表示される第１視聴者動画１４００の一例を示す図である。 図２３は、第１視聴者動画１４００が表示された後に図１に示す通信システムにおいて端末装置により第５所定アクションが実行されたと判定された場合に表示される第１視聴者動画１５００の一例を示す図である。 図１に示す通信システムにおいて端末装置により第１所定アクションが実行されたと判定された場合に表示される第１視聴者動画１６００の一例を示す図である。 図２５は、お気に入りリスト５２０が表示される第１視聴者動画１７００の一例を示す図である。 図２６は、図２５において各配信者のアイコン５６０を選択した場合に表示される第１視聴者動画１８００の一例を示す図である。

本明細書は、いかなる方法によっても限定されることを意図していない、代表的な様々な実施形態という意味により記載される。本件出願において用いられるように、「１つの」、「前記」、「上記」、「当該」、「該」、「この」、「その」といった単数形は、複数形でないことを明確に示さない限り、複数形を含むことができる。また、「含む」という用語は、「具備する」こと又は「備える」ことを意味し得る。さらに、「結合された」、「結合した」、「結び付けられた」、「結び付けた、「接続された」又は「接続した」という用語は、対象物を相互に結合する、接続する又は結び付ける、機械的、電気的、磁気的及び光学的な方法を他の方法とともに包含し、このように結合された、結合した、結び付けられた、結び付けた、接続された又は接続した対象物の間にある中間要素の存在を排除しない。

本明細書において記載される、様々なシステム、方法及び装置は、いかなる方法によっても限定されるものとして解釈されるべきではない。実際には、本開示は、開示された様々な実施形態の各々、これら様々な実施形態を相互に組み合わせたもの、及び、これら様々な実施形態の一部を相互に組み合わせたもの、のうちのあらゆる新規な特徴及び態様に向けられている。本明細書において記載される、様々なシステム、方法及び装置は、特定の態様、特定の特徴、又は、このような特定の態様と特定の特徴とを組み合わせたものに限定されないし、本明細書に記載される物及び方法は、１若しくはそれ以上の特定の効果が存在すること又は課題が解決されることを、要求するものでもない。さらには、本明細書において記載された様々な実施形態のうちの様々な特徴若しくは態様、又は、そのような特徴若しくは態様の一部は、相互に組み合わせて用いられ得る。

本明細書において開示された様々な方法のうちの幾つかの方法の動作が、便宜上、特定の順序に沿って記載されているが、このような手法による記載は、特定の順序が以下特定の文章によって要求されていない限り、上記動作の順序を並び替えることを包含する、と理解すべきである。例えば、順番に記載された複数の動作は、幾つかの場合には、並び替えられるか又は同時に実行される。さらには、簡略化を目的として、添付図面は、本明細書に記載された様々な事項及び方法が他の事項及び方法とともに用いられ得るような様々な方法を示していない。加えて、本明細書は、「生成する」、「発生させる」、「表示する」、「受信する」、「評価する」及び「配信する」のような用語を用いることがある。これらの用語は、実行される実際の様々な動作のハイレベルな記載である。これらの用語に対応する実際の様々な動作は、特定の実装に依存して変化し得るし、本明細書の開示の利益を有する当業者によって容易に認識され得る。

本開示の装置又は方法に関連して本明細書に提示される、動作理論、科学的原理又は他の理論的な記載は、よりよい理解を目的として提供されており、技術的範囲を限定することを意図していない。添付した特許請求の範囲における装置及び方法は、このような動作理論により記載される方法により動作する装置及び方法に限定されない。

本明細書に開示された様々な方法のいずれもが、コンピュータにより読み取り可能な１又はそれ以上の媒体（例えば、１又はそれ以上の光学媒体ディスク、複数の揮発性メモリ部品、又は、複数の不揮発性メモリ部品といったような、非一時的なコンピュータにより読み取り可能な記憶媒体）に記憶された、コンピュータにより実行可能な複数の命令を用いて実装され、さらに、コンピュータにおいて実行され得る。ここで、上記複数の揮発性メモリ部品は、例えばＤＲＡＭ又はＳＲＡＭを含む。また、上記複数の不揮発性メモリ部品は、例えばハードドライブ及びソリッドステートドライブ（ＳＳＤ）を含む。さらに、上記コンピュータは、例えば、計算を行うハードウェアを有するスマートフォン及び他のモバイル装置を含む、市場において入手可能な任意のコンピュータを含む。

本明細書において開示された技術を実装するためのこのようなコンピュータにより実行可能な複数の命令のいずれもが、本明細書において開示された様々な実施形態の実装の間において生成され使用される任意のデータとともに、１又はそれ以上のコンピュータにより読み取り可能な媒体（例えば、非一時的なコンピュータにより読み取り可能な記憶媒体）に記憶され得る。このようなコンピュータにより実行可能な複数の命令は、例えば、個別のソフトウェアアプリケーションの一部であり得るか、又は、ウェブブラウザ若しくは（リモート計算アプリケーションといったような）他のソフトウェアアプリケーションを介してアクセス又はダウンロードされるソフトウェアアプリケーションの一部であり得る。このようなソフトウェアは、例えば、（例えば市場において入手可能な任意の好適なコンピュータにおいて実行されるプロセスとしての）単一のローカルコンピュータにおいて、又は、１又はそれ以上のネットワークコンピュータを用いて、ネットワーク環境（例えば、インターネット、ワイドエリアネットワーク、ローカルエリアネットワーク、（クラウド計算ネットワークといったような）クライアントサーバネットワーク、又は、他のそのようなネットワーク）において、実行され得る。

明確化のために、ソフトウェアをベースとした様々な実装のうちの特定の選択された様々な態様のみが記載される。当該分野において周知である他の詳細な事項は省略される。例えば、本明細書において開示された技術は、特定のコンピュータ言語又はプログラムに限定されない。例えば、本明細書において開示された技術は、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、又は、他の任意の好適なプログラミング言語で記述されたソフトウェアにより実行され得る。同様に、本明細書において開示された技術は、特定のコンピュータ又は特定のタイプのハードウェアに限定されない。好適なコンピュータ及びハードウェアの特定の詳細な事項は、周知であって、本明細書において詳細に説明する必要はない。

さらには、このようなソフトウェアをベースとした様々な実施形態（例えば、本明細書において開示される様々な方法のいずれかをコンピュータに実行させるための、コンピュータにより実行可能な複数の命令を含む）のいずれもが、好適な通信手段により、アップロードされ、ダウンロードされ、又は、リモート方式によりアクセスされ得る。このような好適な通信手段は、例えば、インターネット、ワールドワイドウェブ、イントラネット、ソフトウェアアプリケーション、ケーブル（光ファイバケーブルを含む）、磁気通信、電磁気通信（ＲＦ通信、マイクロ波通信、赤外線通信を含む）、電子通信、又は、他のそのような通信手段を含む。

本件出願において用いられる「ギフト」という用語は、「トークン（token）」という用語と同様の概念を意味する。したがって、「ギフト」という用語を「トークン（token）」という用語に置き換えて、本件出願に記載された技術を理解することも可能である。

以下、添付図面を参照して本発明の様々な実施形態を説明する。なお、図面において共通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。

本明細書において、或る配信者による「動画の配信」又は或る配信者が「動画を配信する」といった用語は、例えば、以下に例示する態様のうちの少なくとも１つの態様を含み得る。
・或る配信者の端末装置が、単独で又は他の配信者の端末装置と共同して、複数の視聴者の端末装置に対して、サーバ装置等を介して、動画の生成に必要なデータ（例えば動作データ）を送信すること
・或る配信者の端末装置が、単独で又は他の配信者の端末装置と共同して、各視聴者の端末装置に対して、サーバ装置等を介して、生成された動画を送信すること

１．概要
本件出願に開示される通信システムでは、簡潔にいえば、以下に示す動作が実行され得る。

第１配信者及び第２配信者が共同して各視聴者に動画を配信する典型的な例では、第１配信者の端末装置は、この第１配信者の動作に基づいて第１トラッキング方式を用いて生成された第１動作データを、サーバ装置に送信することができる。また、第２配信者の端末装置は、この第２配信者の動作に基づいて（第１トラッキング方式とは異なる）第２トラッキング方式を用いて生成された第２動作データを、上記サーバ装置に送信することができる。

ここで、第１トラッキング方式とは、少なくとも、配信者の頭部に装着される装置、及び、配信者の頭部以外の身体に装着又は把持される少なくとも１つのコントローラ、の各々の座標及び角度を示す動作データを生成する方式を含むことができる。配信者の頭部に装着される装置は、ＨＭＤ、スマートグラス（例えば、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）グラス、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス及びＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス）等をこれらに限定することなく含むことができる。少なくとも１つのコントローラは、配信者の右手により把持されるハンドコントローラ、配信者の左手により把持されるハンドコントローラ、配信者の腰部に装着されるコントローラ等を、これらに限定することなく含むことができる。

また、第２トラッキング方式とは、少なくとも、配信者の顔における複数の部位の各々の深度と、配信者の頭部の座標及び角度と、を示す動作データを生成する方式（フェイストラッキング方式等）を含むことができる。

上記サーバ装置は、第１動作データ及び第２動作データを、複数の視聴者の端末装置、第１配信者の端末装置、及び、第２配信者の端末装置に送信することができる。

各視聴者の端末装置、第１配信者の端末装置、及び、第２配信者の端末装置を含む、複数の端末装置の各々は、サーバ装置から受信した第１動作データ及び第２動作データの各々を識別することができる。その上で、上記複数の端末装置の各々は、第１動作データに基づく第１配信者のアバターのアニメーション（動画）と、第２動作データに基づく第２配信者のアバターのアニメーションと、を含む動画を生成して表示することができる。

一方、第１配信者が単独で各視聴者に動画を提供する例では、この第１配信者の端末装置は、この第１配信者の動作に基づいて第１トラッキング方式を用いて生成された第１動作データを、上記サーバ装置に送信することができる。

上記サーバ装置は、第１動作データを、複数の視聴者の端末装置、及び、第１配信者の端末装置に送信することができる。

各視聴者の端末装置及び第１配信者の端末装置を含む、複数の端末装置の各々は、サーバ装置から受信した第１動作データを識別することができる。その上で、上記複数の端末装置の各々は、第１動作データに基づく第１配信者のアバターのアニメーションを含む動画を生成して表示することができる。

他方、第２配信者が単独で各視聴者に動画を提供する例では、この第２配信者の端末装置は、この第２配信者の動作に基づいて第２トラッキング方式を用いて生成された第２動作データを、上記サーバ装置に送信することができる。

上記サーバ装置は、第２動作データを、複数の視聴者の端末装置、及び、第２配信者の端末装置に送信することができる。

各視聴者の端末装置及び第２配信者の端末装置を含む、複数の端末装置の各々は、サーバ装置から受信した第２動作データを識別することができる。その上で、上記複数の端末装置の各々は、第２動作データに基づく第２配信者のアバターのアニメーションを含む動画を生成して表示することができる。

上述した各例では、動画の生成が、上記複数の端末装置の各々により実行される方式（クライアントレンダリング方式）が採用されている。しかし、このような動画の生成が、上記サーバ装置（又は上記サーバ装置に接続され得る他のサーバ装置）により実行され、このように生成された動画が、上記複数の端末装置に送信され表示される、という方式（サーバレンダリング方式）も採用され得る。或いはまた、動画の生成が、上記サーバ装置（又は上記サーバ装置に接続され得る他のサーバ装置）からウェブページを受信し、このウェブページに含まれたコンピュータプログラムを実行する、上記複数の端末装置の各々により実行される方式（ブラウザレンダリング方式）もまた、採用され得る。

２．通信システムの全体的な構成
次に、上述した動作を実行する通信システムの構成について図１を参照して説明する。図１は、一実施形態に係る通信システムの構成の一例を示すブロック図である。

図１に示すように、通信システム１は、少なくとも１つのサーバ装置３０と、通信網１０に接続可能な複数の端末装置２０と、通信網１０に接続可能な少なくとも１つのサーバ装置３０と、を含むことができる。図１には、複数の端末装置２０が３つの端末装置２０Ａ、２０Ｂ、２０Ｃを含む例が示されているが、複数の端末装置２０は、任意の数（２つ以上）の端末装置２０を含むことができる。同様に、図１には、少なくとも１つのサーバ装置３０が３つのサーバ装置３０Ａ、３０Ｂ、３０Ｃを含む例が示されているが、少なくとも１つのサーバ装置３０もまた、任意の数（１つ以上）のサーバ装置３０を含むことができる。

複数の端末装置２０は、少なくとも１人の配信者の端末装置２０、及び、少なくとも１人の視聴者の端末装置２０を含むことができる。少なくとも１人の配信者の端末装置２０の各々は、第１トラッキング方式及び第２トラッキング方式のうちのいずれかに基づく動作データの生成及び送信が可能であり、少なくとも１人の視聴者の端末装置２０の各々もまた、第１トラッキング方式及び第２トラッキング方式のうちのいずれかに基づく動作データの生成及び送信が可能である。

また、複数の端末装置２０は、任意の情報処理装置であって、ＨＭＤ、ＶＲグラス、ＡＲグラス、ＭＲグラス、スマートフォン、パーソナルコンピュータ、タブレット、携帯情報端末、携帯電話、及び、これらの組み合わせを、これらに限定することなく含むことができる。

少なくとも１つのサーバ装置３０は、このサーバ装置３０にアクセスした複数の端末装置２０の各々に対して、様々なサービスを提供することが可能な情報処理装置であり得る。少なくとも１つのサーバ装置３０は、任意の情報処理装置であって、パーソナルコンピュータ、スーパーコンピュータ、ワークステーション、メインフレーム、及び、これらの組み合わせを、これらに限定することなく含むことができる。

また、少なくとも１つのサーバ装置３０は、このサーバ装置３０にアクセスした複数の端末装置２０の各々に対して、コンピュータプログラムを含むウェブページを送信するウェブサーバ装置３０を含み得る。

さらに、少なくとも１つのサーバ装置３０は、通信網１０を介して、相互に接続可能であり得る。

通信網１０は、携帯電話網、無線ネットワーク、固定電話網、インターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又は、イーサネットネットワークを、これらに限定することなく含むことができる。ここで、上記無線ネットワークは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、（ＩＥＥＥ ８０２.１１ａ／ｂ／ｎといったような）ＷｉＦｉ、ＷｉＭａｘ、セルラー、衛星、レーザー、及び／又は、赤外線、を介したＲＦ接続を含むことができる。

３．端末装置２０のハードウェア構成
次に、上述した通信システム１において用いられる端末装置２０の構成について、図２を参照して説明する。図２は、図１に示した通信システム１において用いられる端末装置２０のハードウェア構成の一例を示すブロック図である（なお、図２において、括弧内の参照符号は、後述するようにサーバ装置３０に関連して記載されている）。

図２に示すように、各端末装置２０は、主に、中央処理装置２１と、主記憶装置２２と、入出力インターフェイス装置２３と、入力装置２４と、補助記憶装置２５と、出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

中央処理装置２１は、「ＣＰＵ」といわれ、主記憶装置２２に記憶されている命令及びデータに対して演算を行い、その演算の結果を主記憶装置２２に記憶させることができる。さらに、中央処理装置２１は、入出力インターフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。端末装置２０は、１又はそれ以上のこのような中央処理装置２１を含むことが可能である。

主記憶装置２２は、「メモリ」といわれ、入力装置２４、補助記憶装置２５及び通信網１０（サーバ装置３０等）から、入出力インターフェイス装置２３を介して受信した命令及びデータ、並びに、中央処理装置２１の演算結果を記憶することができる。主記憶装置２２は、揮発性メモリ（例えば、レジスタ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、リードオンリーメモリ（ＲＯＭ）、ＥＥＰＲＯＭ、フラッシュメモリ）、及び、ストレージ（例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、磁気テープ、光学媒体）、といったようなコンピュータにより読み取り可能な媒体を、これらに限定することなく含むことができる。容易に理解されるように、「コンピュータにより読み取り可能な記録媒体」という用語は、変調されたデータ信号すなわち一時的な信号といったような送信媒体ではなく、メモリ及びストレージといったようなデータストレージのための媒体を含むことができる。

補助記憶装置２５は、主記憶装置２２よりも大きな容量を有する記憶装置である。補助記憶装置２５は、オペレーティングシステム、ウェブブラウザアプリケーション、動画の配信及び／又は受信を行うための特定のアプリケーション等を構成する命令及びデータ（コンピュータプログラム）を記憶することができる。さらに、補助記憶装置２５は、中央処理装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）を、入出力インターフェイス装置２３を介して主記憶装置２２に送信することができる。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置等をこれらに限定することなく含むことができる。

入力装置２４は、外部からデータを取り込む装置であって、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等をこれらに限定することなく含むことができる。センサは、１若しくはそれ以上のカメラ２４ａ等及び／又は１若しくはそれ以上のマイク２４ｂ等を含むセンサを、これらに限定することなく含むことができる。

出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができる。

端末装置２０は、第１の態様では、第１トラッキング方式に基づく動作データを生成する端末装置２０となり得る。この場合、端末装置２０（典型的には、パーソナルコンピュータ等）は、入力装置２４及び出力装置２６として機能し、ユーザの頭部に装着される装置（ＨＭＤ又はＶＲグラス等）と、入力装置２４として機能し、ユーザの頭部以外の身体に装着又は把持される少なくとも１つのコントローラと、を有することができる（又はこれらの装置及びコントローラに接続され得る）。上記少なくとも１つのコントローラは、例えば、ユーザの右手に把持又は装着され得る右ハンドコントローラ及びユーザの左手に把持又は装着され得る左ハンドコントローラを、これらに限定することなく含むことができる。また端末装置２０が第１トラッキング方式に基づく動作データを生成する場合において、端末装置２０は、コントローラを有さなくてもよい。

図３は、図１に示した通信システム１において、第１トラッキング方式に基づく動作データを生成すべく端末装置２０等に接続可能な装置の一例を示す模式図である。第１トラッキング方式に基づく動作データを生成する端末装置２０は、図３に示すように、ユーザの頭部に装着されるＨＭＤ（又はスマートグラス等）１００と、ユーザの頭部以外の身体（ここではユーザの右手）に把持又は装着され得る右ハンドコントローラ１０２と、ユーザの頭部以外の身体（ここではユーザの左手）に把持又は装着され得る左ハンドコントローラ１０４と、を含み（に接続され）得る。

ＨＭＤ１００は、基部１００Ａと、この基部１００Ａを図示しないユーザの頭部に固定するための固定部１００Ｂと、を含むことができる。基部１００Ａは、ユーザの両目に対向して配置される（図示しない）ディスプレイ部と、ユーザの頭部の座標及び角度を検知してこれらを示す動作データを生成する（図示しない）センサ部と、ユーザの両目近傍に設けられ、動画データ（もしくは画像データ）を取得する（図示しない）カメラ部と、上記ディスプレイ部、上記センサ部、上記カメラ部、右ハンドコントローラ１０２、左ハンドコントローラ１０４、及び、端末装置２０（の入出力インターフェイス装置２３）との間において（動作データ及び操作データ等を含む）様々なデータを通信する（図示しない）通信部と、を含むことができる。ＨＭＤ１００にディスプレイ部及びカメラ部を設けることにより、現実空間に仮想オブジェクト（例えば、配信者のアバター等）を組み合わせることができ、ＨＭＤ１００はＭＲ端末装置として機能することができる。なおカメラ部を設けずにディスプレイ部は、周囲からの光をユーザの両目に透過させる構造であってもよい。またＨＭＤ１００にディスプレイ部を設けることにより、仮想空間を表示することができ、ＨＭＤ１００はＶＲ端末装置として機能することができる。端末装置がＭＲ端末装置又はＶＲ端末装置として機能することについての詳細は、後述する。

上記センサ部は、ユーザの眼球の動きを直接的に検出するように、このユーザの眼球に対向して設けられた、図示しないアイトラッキングセンサを備えることも可能である。上記アイトラッキングセンサは、例えば、虹彩内に近赤外光を入射しその反射光を検出するように構成された、視線検出センサであり得る。このようなアイトラッキングセンサは、ユーザの視線の動きを示す操作データを生成することができる。このようなＨＭＤ１００を装着したユーザは、その眼球を移動させることにより、上記ディスプレイ部に表示されるオブジェクト（ポインタ等）を移動させること、及び／又は、上記ディスプレイ部に表示されるオブジェクトを選択すること等ができる。またＨＭＤ１００を装着したユーザは、その眼球を移動させることにより、カメラ部の方向を移動させることができ、眼球の移動に対応した画像（もしくは動画データ）を取得することができる。

固定部１００Ｂは、両端が基部１００Ａに固定され略Ｕ字状に延びる第１固定部１００Ｂ_１と、一端が基部１００Ａに固定され他端が第１固定部１００Ｂ_１に固定された第２固定部１００Ｂ_２と、を含み得る。これら第１固定部１００Ｂ_１及び第２固定部１００Ｂ_２が、ユーザの頭部を囲んで基部１００Ａに向かって付勢されることにより、ＨＭＤ１００がユーザの頭部に装着され得る。

右ハンドコントローラ１０２及び左ハンドコントローラ１０４は、それぞれ、相互に左右対称の形状を呈する筐体１０２Ａ、１０４Ａを有し得る。右ハンドコントローラ１０２は、筐体１０２Ａに設けられ、例えば、ユーザの指により操作され得るジョイスティック１０２Ｂと、ユーザの指により押圧され得る少なくとも１つのボタン（ここでは、例えば、ボタン１０２Ｃ、１０２Ｄ、１０２Ｅ）と、を含むことができる。さらに、右ハンドコントローラ１０２は、筐体１０２Ａの内部に設けられ、ユーザの右手の座標及び角度を検知してこれらを示す動作データを生成し、ジョイスティック１０２Ｂ、ボタン１０２Ｃ、１０２Ｄ、１０２Ｅの各々に対してユーザによりなされた操作を示す操作データを生成する、ように構成された（図示しない）センサ部と、ＨＭＤ１００との間において様々なデータ（動作データ及び操作データを含む）を通信する（図示しない）通信部と、を含むことができる。

同様に、左ハンドコントローラ１０４は、筐体１０４Ａに設けられ、例えば、ユーザの指により操作され得るジョイスティック１０４Ｂと、ユーザの指により押圧され得る少なくとも１つのボタン（ここでは、例えば、ボタン１０４Ｃ、１０４Ｄ、１０４Ｅ）と、を含むことができる。さらに、左ハンドコントローラ１０４は、筐体１０４Ａの内部に設けられ、ユーザの右手の座標及び角度を検知してこれらを示す動作データを生成し、ジョイスティック１０４Ｂ、ボタン１０４Ｃ、１０４Ｄ、１０４Ｅの各々に対してユーザによりなされた操作を示す操作データを生成する、ように構成された（図示しない）センサ部と、ＨＭＤ１００との間において様々なデータ（動作データ及び操作データを含む）を通信する（図示しない）通信部と、を含むことができる。

ＨＭＤ１００の上記通信部は、ＨＭＤ１００の上記センサ部により生成された動作データ及び／又は操作データ、右ハンドコントローラ１０２により生成された動作データ及び／又は操作データ、並びに、左ハンドコントローラ１０４により生成された動作データ及び／又は操作データを、端末装置２０等に対して送信することができる。

図２に戻り、端末装置２０は、第２の態様では、第２トラッキング方式に基づく動作データを生成する端末装置２０となり得る。この場合、端末装置２０（典型的には、スマートフォン、タブレット又はパーソナルコンピュータ等）は、入力装置２４として機能する少なくとも１つのカメラ２４ａ（及び少なくとも１つのマイク２４ｂ）と、出力装置２６として機能するタッチパネル装置と、を有することができる（又はこれらの装置に接続され得る）。

このようなハードウェア構成にあっては、中央処理装置２１が、補助記憶装置２５に記憶された上記特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することができる。これにより、中央処理装置２１は、入出力インターフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インターフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置３０及び／又は他の端末装置２０）との間で様々なデータの送受信を行うことができる。

これにより、端末装置２０は、インストールされた上記特定のアプリケーション等を実行することにより、動画の配信、生成及び／又は表示等に関連する様々な動作（図４Ａ～図４Ｂ、図５Ａ～図５Ｂ、図６Ａ～図６Ｂ及び図１３等を参照して説明する動作等を含む）を実行することができる。

なお、端末装置２０は、中央処理装置２１に代えて又は中央処理装置２１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含むことも可能である。

４．サーバ装置３０のハードウェア構成
次に、上述した通信システム１において用いられるサーバ装置３０の構成について、同じく図２を参照して説明する。各サーバ装置３０のハードウェア構成としては、例えば、上述した各端末装置２０のハードウェア構成と同様のものを用いることが可能である。したがって、各サーバ装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。

図２に示すように、各サーバ装置３０は、中央処理装置３１と、主記憶装置３２と、入出力インターフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

中央処理装置３１、主記憶装置３２、入出力インターフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各端末装置２０に含まれる、中央処理装置２１、主記憶装置２２、入出力インターフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一であり得る。

このようなハードウェア構成にあっては、中央処理装置３１が、補助記憶装置３５に記憶された上記特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することができる。これにより、中央処理装置３１は、入出力インターフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インターフェイス装置３３及び通信網１０を介して、他の装置（例えば他のサーバ装置３０及び／又は端末装置２０）との間で様々なデータの送受信を行うことができる。

これにより、サーバ装置３０は、インストールされた上記特定のアプリケーション等を実行することにより、動画の配信、生成及び／又は表示等に関連する様々な動作（図４Ａ～図４Ｂ、図５Ａ～図５Ｂ、図６Ａ～図６Ｂ及び図１３等を参照して説明する動作等を含む）を実行することができる。

なお、サーバ装置３０は、中央処理装置３１に代えて又は中央処理装置３１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含むこともできる。

サーバ装置３０は、インストールされた上記特定のアプリケーションを実行してウェブサーバとして機能することも可能である。このサーバ装置３０は、このサーバ装置３０にアクセスしてきた各端末装置２０（及び／又は他のサーバ装置３０）に対して、コンピュータプログラムを含むウェブページを送信することができる。このような端末装置２０（及び／又は他のサーバ装置３０）は、ウェブページに含まれたコンピュータプログラムを実行することにより、動画の配信、生成及び／又は表示等に関連する様々な動作（図４Ａ～図４Ｂ、図５Ａ～図５Ｂ、図６Ａ～図６Ｂ及び図１３等を参照して説明する動作等を含む）を実行することもできる。

５．プラットフォーム
次に、通信システム１により実現されるプラットフォームの一例について説明する。このプラットフォームは、各配信者が第１トラッキング方式に基づく動作データを生成して送信する端末装置２０及び第２トラッキング方式に基づく動作データを生成して送信する端末装置２０のいずれを用いた場合であっても、各配信者の端末装置及び各視聴者の端末装置が適切に動画を表示する、ということを可能にする。

以下の３つのケースを例に挙げて、このプラットフォームにおいて実行される動作を説明する。なお、説明の便宜上、第１トラッキング方式に基づく動作を生成して送信する端末装置２０を「ＨＭＤ端末装置」（ＶＲグラス、ＡＲグラス及びＭＲグラスも含まれる）といい、第２トラッキング方式に基づく動作を生成して送信する端末装置２０を「スマホ端末装置」という。但し、スマートフォン又はタブレット等であっても、これに接続される複数のトラッキング装置（例えば図３に示した装置）を用いることにより、「ＨＭＤ端末装置」になり得る。

第１ケース（図４Ａ～図４Ｂ）：ＨＭＤ端末装置を利用する第１配信者及びスマホ端末装置を利用する第２配信者が共同して各視聴者に動画を提供する。この後、１人の視聴者（視聴者Ａ）が、ＨＭＤ端末装置を利用して、第１配信者及び第２配信者と共同して各視聴者に動画を提供する。
第２ケース（図５Ａ～図５Ｂ）：ＨＭＤ端末装置を利用する第１配信者が単独で各視聴者に動画を提供する。この後、視聴者Ａが、ＨＭＤ端末装置を利用して、第１配信者と共同して各視聴者に動画を提供する。
第３ケース（図６Ａ～図６Ｂ）：スマホ端末装置を利用する第２配信者が単独で各視聴者に動画を提供する。この後、視聴者Ａが、ＨＭＤ端末装置を利用して、第２配信者と共同して各視聴者に動画を提供する。

５－１．第１ケース
まず、第１ケースについて、図４Ａ～図４Ｂを参照して説明する。図４Ａ～図４Ｂは、図１に示した通信システム１により実現されるプラットフォームを用いた動画の提供に関する第１ケースを説明する模式図である。なお、便宜上、図４Ａ～図４Ｂにおいては、各端末装置２０とサーバ装置３０との間に介在する通信網１０が省略されている。

（１）図４Ａについて
図４Ａを参照すると、ＨＭＤ端末装置２０Ａを利用する第１配信者及びスマホ端末装置２０Ｂを利用する第２配信者が、共同して、視聴者ＡのＨＭＤ端末装置２０Ｃを含む複数の視聴者の端末装置２０に対して動画を提供している。但し、図面の簡略化のために、図４Ａ～図４Ｂでは、複数の視聴者の端末装置２０として、ＨＭＤ端末装置である、視聴者Ａの端末装置２０Ｃのみが示されている。

第１配信者の端末装置２０Ａは、第１配信者の動作に基づいて第１トラッキング方式を用いて動作データ（第１動作データ）を、単位時間ごとに又は任意のタイミングで生成することができる。ここでいう単位時間の長さは、固定又は可変であり得る。この第１動作データは、第１配信者の身体に取り付けられた複数のトラッキング装置に含まれる各トラッキング装置により生成された座標及び角度（向き）を（例えばタイムスタンプに対応付けて）示す動作データを含み得る。

例えば、端末装置２０Ａが図３に例示したトラッキング装置を用いる場合には、第１動作データは、以下に例示するデータをこれらに限定することなく含み得る。
・ＨＭＤ１００により生成された、頭部の座標及び角度を示す動作データ（ＨＭＤ１００に搭載される上述したセンサ部は、ジャイロセンサ、加速度センサ及び／又は地磁気センサを有することにより、頭部の座標及び角度を示す動作データを生成することができる。）
・右ハンドコントローラ１０２により生成された、右手の座標及び角度を示す動作データ（右ハンドコントローラ１０２に搭載される上述したセンサ部は、ジャイロセンサ、加速度センサ及び／又は地磁気センサを有することにより、右手の座標及び角度を示す動作データを生成することができる。）
・左ハンドコントローラ１０４により生成された、左手の座標及び角度を示す動作データ（左ハンドコントローラ１０４に搭載される上述したセンサ部は、ジャイロセンサ、加速度センサ及び／又は地磁気センサを有することにより、左手の座標及び角度を示す動作データを生成することができる。）
・右ハンドコントローラ１０２により生成された、右手によりジョイスティック等に対して行われた操作の内容を示す操作データ
・左ハンドコントローラ１０４により生成された、左手によりジョイスティック等に対して行われた操作の内容を示す操作データ

さらに、第１配信者の端末装置２０Ａは、（例えばマイク２４ｂを用いて）第１配信者の発話に基づく音声データ（第１音声データ）を生成することもできる。

端末装置２０Ａは、このように生成された第１動作データ（及びオプションとしての第１音声データ）を、単位時間ごとに又は任意のタイミングで、サーバ装置３０に送信し続けることができる。

他方、第２配信者の端末装置２０Ｂは、第２配信者の動作に基づいて第２トラッキング方式を用いて動作データ（第２動作データ）を、単位時間ごとに又は任意のタイミングで生成することができる。ここでいう単位時間の長さは、固定又は可変であり得る。この第２動作データは、少なくとも１つのセンサ（カメラ２４ａ等）を用いた画像処理により生成された、顔における複数の部位の各々の深度と、頭部の座標及び角度と、を（例えばタイムスタンプに対応付けて）示す動作データを含み得る。例えば、ドットプロジェクタがドット（点）パターンをなす赤外線レーザーをユーザの顔に放射し、近赤外線カメラ２４ａが、ユーザの顔に投影され反射した赤外線ドットを捉え、このように捉えた赤外線ドットの画像を生成する。端末装置２０Ｂは、予め登録されているドットプロジェクタにより放射されたドットパターンの画像と、近赤外線カメラにより捉えられた画像とを比較して、両画像における各ポイント（各特徴点）（例えば５１個のポイント・特徴点の各々）における位置のずれを用いて各ポイント（各特徴点）の深度（各ポイント・各特徴点と近赤外線カメラとの間の距離）を算出することができる。端末装置２０Ｂは、このように算出された深度を示す動作データを生成することができる。さらに、端末装置２０Ｂは、ジャイロセンサ、加速度センサ及び／又は地磁気センサを有することにより、頭部の座標及び角度を示す動作データを生成することができる。

さらに、端末装置２０Ｂは、（例えばマイク２４ｂを用いて）第２配信者の発話に基づく音声データ（第２音声データ）を生成することもできる。

端末装置２０Ｂは、このように生成された第２動作データ（及びオプションとしての第２音声データ）を、単位時間ごとに又は任意のタイミングで、サーバ装置３０に送信し続けることができる。

サーバ装置３０は、端末装置２０Ａからの第１動作データ（及びオプションとしての第１音声データ）と端末装置２０Ｂからの第２動作データ（及びオプションとしての第２音声データ）とを含む「１セットの動作データ」を、端末装置２０Ａ、端末装置２０Ｂ、及び、視聴者Ａの端末装置２０の各々に対して（図示しない他の各視聴者の端末装置２０に対しても）送信し続けることができる。この意味において、「１セットの動作データ」は、端末装置２０Ａ、端末装置２０Ｂ、及び、視聴者Ａの端末装置２０（図示しない他の各視聴者の端末装置２０）に対して共通に送信されるデータであるといえる。

サーバ装置３０は、例えば以下に例示するデータを「１セットの動作データ」に付加して送信することも可能である。
（Ａ）複数の配信者の端末装置２０（ここでは、端末装置２０Ａ、２０Ｂ）の各々により生成された動作データ（及び音声データ）に対して、その動作データを送信した端末装置２０及び／又は送信者を識別するデータ。
（Ｂ）複数の配信者の端末装置２０（ここでは、端末装置２０Ａ、２０Ｂ）の各々により生成された動作データ（及び音声データ）に対して、その動作データが、第１トラッキング方式及び第２トラッキング方式のうちのいずれの方式に従って生成されたのかを示すデータ。

このような「１セットの動作データ」を受信した各端末装置２０は、データ（Ａ）を参照することにより、「１セットの動作データ」の中に、何人の配信者により生成された動作データ（及び音声データ）が含まれているのかを識別することができる。さらに、各端末装置２０は、各配信者の端末装置により生成された動作データ（及び音声データ）が、「１セットの動作データ」のうちのどの部分に含まれているのかを識別することができる。

また、各端末装置２０は、データ（Ｂ）を参照することにより、各配信者の端末装置により生成された動作データ（及び音声データ）が、第１トラッキング方式及び第２トラッキング方式のうちのいずれの方式に従って生成されたのかを識別することができる。各端末装置２０は、各トラッキング方式に従って生成された動作データ（及び音声データ）が、どのようなデータを含むかを予め認識している。例えば、各端末装置２０は、第１トラッキング方式に従って生成された動作データが、各トラッキング装置により生成された対応する部分の座標及び角度を示すデータ（及びジョイスティック・ボタン等に対して配信者によりなされた操作の内容を示す操作データ）等を含むことを予め認識している。同様に、各端末装置２０は、第２トラッキング方式に従って生成された動作データが、顔における複数の部位の各々の深度と、頭部の座標及び角度と、を示すデータを含むことを予め認識している。したがって、各端末装置２０は、データ（Ｂ）を参照することにより、各配信者の端末装置２０により生成されたいずれかのトラッキング方式に従って生成された動作データの内容を認識して利用することができる。

各端末装置２０が受信した「１セットの動作データ」から各配信者の端末装置により生成された動作データを抽出して利用することができるようにすべく、サーバ装置３０は、その他の任意のデータを「１セットの動作データ」の任意の位置に付加することができる。

端末装置２０Ａ、端末装置２０Ｂ及び端末装置２０Ｃ（他の各視聴者の端末装置２０）は、受信した「１セットの動作データ」に基づいて、動画を生成することができる。なお、以下の説明において、各端末装置２０は、事前に又は任意のタイミングにおいて、サーバ装置３０から、各配信者により使用されるアバターを識別するアバター識別データに対応付けてそのアバターを描画するための描画データを受信して保持することができる。したがって、各端末装置２０は、配信者を識別することにより、その配信者に使用されているアバターを識別し、そのアバターのアニメーションを生成及び表示することができる。

まず、端末装置２０Ａに着目する。
端末装置２０Ａは、第１動作データに基づく第１配信者のアバター（第１アバター）のアニメーションと、第２動作データに基づく第２配信者のアバター（第２アバター）のアニメーションと、を含む動画を生成することができる。具体的には、端末装置２０ＡはＨＭＤ端末装置であるので、第１配信者動画及び第２配信者動画という２種類の動画を生成することができる。なお、端末装置２０Ａは、サーバ装置３０より受信した１セットの動作データから、上述した手法によって、第１動作データ及び第２動作データの各々を抽出して動画の生成に利用することができる。

第１配信者動画とは、端末装置２０ＡがＶＲ端末装置として機能した場合に、第１仮想空間（例えば３次元の仮想空間）に第１アバター及び第２アバターを配置し、「第１配信者の視点」からみて描画（表現）した動画であり得る。また第１配信者動画とは、端末装置２０ＡがＭＲ端末装置として機能した場合に、「第１配信者の視点」からみた現実空間に第１アバター及び第２アバターを配置した動画であり得る。第２配信者動画とは、端末装置２０ＡがＶＲ端末装置として機能した場合に、第１仮想空間に第１アバター及び第２アバターを配置し、第１仮想空間における或る視点（例えば第１仮想空間に配置された仮想的なカメラ）からみて描画（表現）した動画であり得る。さらに、この第２動画は、「各視聴者に共通の視点」からみて描画（表現）した動画であり得る。すなわち、上記或る視点は、各視聴者にとって共通の視点であり得る。以下の説明では、端末装置２０ＡがＶＲ端末装置として機能し、第１配信者動画及び第２配信者動画を生成する場合について説明する。

別の実施形態では、第２配信者動画は、「各視聴者及び各配信者に共通の視点」からみて描画（表現）した動画であり得る。すなわち、上記或る視点は、各視聴者及び各配信者にとって共通の視点であり得る。

図７は、図１に示した通信システム１において第１配信者の端末装置により表示される第１配信者動画の一例を示す図である。第１配信者の端末装置２０Ａにより表示される第１配信者動画２００は、図７に示すように、第１動作データに従って動作する、第１配信者の第１アバター２１０と、第２動作データに従って動作する、第２配信者の第２アバター２２０と、を含むことができる。ここで、第１配信者動画２００は、視聴者Ａのアバター（第３アバター）を含まない。

第１配信者動画２００は、第１仮想空間に配置された第１アバター２１０の視点（すなわち、第１配信者の視点）からみて第１仮想空間を描画する動画であり得る。第１仮想空間における第１アバター２１０の現在位置及び第１アバター２１０が向く角度等は、サーバ装置３０から受信する１セットの動画データに含まれる第１動作データ（又は端末装置２０Ａが生成して一時的に記憶した第１動作データ）に従って決められ変化し得る。

例えば、第１配信者が頭部を右方向（又は左方向）に１５度回転させると、端末装置２０Ａは、右方向（又は左方向）に１５度回転させた頭部の角度を示すデータを動作データに含めることができる。これにより、端末装置２０Ａは、第１アバター２１０の頭部の角度を更新することにより、第１配信者動画２００において、第１アバター２１０が向く角度は、右方向（又は左方向）に１５度回転させられる。また、第１配信者が右ハンドコントローラ１０２及び左ハンドコントローラ１０４を自身の胸の前まで持ち上げると、端末装置２０Ａは、変化させた右手の座標及び左手の座標を示すデータを動作データに含めることができる。これにより、端末装置２０Ａは、第１アバター２１０の右手及び左手の座標を更新することにより、第１配信者動画２００において、図７に例示されるように、第１アバター２１０の右手２１０ａ及び左手２１０ｂが持ち上げられて描画される。さらに、第１配信者が右ハンドコントローラ１０２のボタン１０２Ｅ（又は左ハンドコントローラ１０４のボタン１０４Ｅ）を押圧することにより、端末装置２０Ａは、前進（又は更新）させた頭部の座標を示すデータを動画データに含めることができる。これにより、端末装置２０Ａは、第１アバター２１０の位置する座標を更新することにより、第１配信者動画２００において、第１アバター２１０の視点が前進（又は後退）する。これに伴い、第１配信者動画２００において、第２アバター２２０が大きく（又は小さく）描画される。

第１配信者動画２００において、第１アバター２１０が第１動作データに従って動作するのと同様に、第２アバター２２０は、第２動作データに従って動作する。但し、第２配信者の端末装置２０Ｂは、スマホ端末装置であるため、端末装置２０Ｂにより生成される第２動作データは、第２トラッキング方式に基づいて生成された動作データ（顔における複数の部位の各々の深度と、頭部の座標及び角度と、を示す動作データ）である。したがって、第１配信者動画２００において、第２動作データ（例えば、頭部の座標及び角度を示すデータ）に基づいて、第２アバター２２０の頭部は動作する（例えば頭部を左右に振る）。また、第２動作データ（顔における複数の部位の各々の深度を示すデータ）に基づいて、第２アバター２２０の表情は変化する。さらに、第２動作データ（頭部の座標及び角度を示すデータ）に基づいて、第２アバター２２０が向く方向は変化する。但し、第２アバター２２０の位置は変化しない。

図８は、図１に示した通信システム１において第１配信者の端末装置により表示される第２配信者動画の一例を示す図である。図８に例示されるように、第２配信者動画３００は、第１動作データに従って動作する、第１配信者の第１アバター２１０と、第２動作データに従って動作する、第２配信者の第２アバター２２０と、を含むが、視聴者Ａのアバター（第３アバター）を含まない。

第２配信者動画３００は、複数の視聴者（視聴者Ａを含む）のすべてに共通の視点からみて、第１仮想空間を描画する動画である。ここでいう共通の視点は、上述した第１仮想空間における任意の点（この点に設置された仮想的なカメラ等）からみた視点であり得る。なお、図８には、簡略化のために、第１アバター２１０及び第２アバター２２０の両方を正面からみて描画された例が示されているが、第１仮想空間に配置された視点の位置次第によっては、第２配信者動画３００において、第１アバター２１０及び／又は第２アバター２２０が、横又は後ろを向く可能性もあり得る。一実施形態では、第１仮想空間に配置された視点の位置に関係なく、第１アバター２１０及び第２アバター２２０の両方が正面を向くように、第２配信者動画３００が生成され得る。

第１動作データは、第１トラッキング方式に従って生成されるため、この第１動作データに基づいて動作する第１アバター２１０の第１仮想空間における位置は変化し得るし、第１アバター２１０が向く方向も変化し得る。したがって、第２配信者動画３００において、第１アバター２１０の位置は変化し得るし、第１アバター２１０が向く方向も変化し得る。これに対して、第２動作データは、第２トラッキング方式に従って生成されるため、この第２動作データに基づいて動作する第２アバター２２０の第１仮想空間における座標は変化しない。したがって、第２配信者動画３００において、第２アバター２２０の位置は変化しない（但し、第２配信者動画３００において、第２アバター２２０の表情等は、第２動作データに基づいて変化し得る）。

このような理由から、一実施形態では、図８に例示されるように、第１仮想空間における位置が固定される第２アバター２２０は、前列に配置され、第１仮想空間における位置が変化する第１アバター２１０は、前列の背後にある後列に配置され得る。さらに、一実施形態では、図８に例示されるように、後列に配置される第１アバター２１０は、前列に配置される第２アバター２２０よりも高い位置に配置され得る。このように、複数のアバターを、複数の列（前列及び後列）のうち、その特徴に対応する列に配置することにより、これら複数のアバターの各々を、各ユーザ（第１配信者、第２配信者、各視聴者）にとって見易いものとすることができる。なお、別の実施形態では、上記とは逆に、第１アバター２１０を前列に配置し、第２アバター２２０を後列に配置することも可能である。

端末装置２０Ａは、一実施形態では、図７を参照して上述した第１配信者動画２００と、図８を参照して上述した第２配信者動画３００とを、出力装置２６である表示部（ＨＭＤ１００等）において、相互に異なる領域に表示することができる。例えば、端末装置２０Ａは、表示部により形成される表示領域に含まれる特定領域のうち、右部、左部、上部又は下部といった一部の領域に第１配信者動画２００を表示し、その特定領域のうちの残りの領域に第２配信者動画３００を表示することができる。もう１つの好ましい実施形態では、端末装置２０Ａは、図９に例示されるように、第２配信者動画３００を、第１配信者動画２００が表示される領域の内部に表示することもできる。

図９は、図１に示した通信システム１において第１配信者の端末装置により表示される第１配信者動画及び第２配信者動画の別の例を示す図である。図９に示すように、端末装置２０Ａは、第２配信者動画３００を、第１配信者動画２００と組み合わせて、例えば、第１配信者動画２００が表示される領域の内部に表示することができる。具体的には、端末装置２０Ａは、第１配信者動画２００に含まれる第１アバター２１０の一部分（ここでは左手２１０ｂ）に連動して、第２配信者動画３００を移動可能に表示することができる。この場合、第１配信者が左ハンドコントローラ１０４を握持する左手を動かすと、これに伴って、第１配信者動画２００に含まれる第１アバター２１０の左手２１０ｂが動く。このような左手２１０ｂに連動して、左手２１０ｂに保持された（ように描画される）第２配信者動画３００もまた移動することができる。一実施形態では、第２配信者動画３００は、第１配信者動画２００に疑似的に表示される端末装置（疑似端末装置３５０）として表示され得る。

図４Ａに戻り、次に、端末装置２０Ｂに着目する。
端末装置２０Ｂは、第１動作データに基づく第１配信者のアバター（第１アバター）のアニメーションと、第２動作データに基づく第２配信者のアバター（第２アバター）のアニメーションと、を含む動画を生成することができる。具体的には、端末装置２０Ａはスマホ端末装置であるので、第２配信者動画を生成することができる。なお、端末装置２０Ｂは、サーバ装置３０より受信した１セットの動作データから、上述した手法によって、第１動作データ及び第２動作データの各々を抽出して動画の生成に利用することができる。

第２配信者動画とは、上述したように、第１仮想空間に第１アバター及び第２アバターを配置し、第１仮想空間における或る視点（例えば第１仮想空間に配置された仮想的なカメラ）からみて描画（表現）した動画であり得る。さらに、この第２配信者動画は、「各視聴者に共通の視点」からみて描画（表現）した動画であり得る。ここで、端末装置２０Ｂがサーバ装置３０から受信する「１セットの動作データ」は、端末装置２０Ａがサーバ装置３０から受信する「１セットの動作データ」と同一である。また、端末装置２０Ｂが第２配信者動画を生成する方法は、上述した端末装置２０Ａが第２配信者動画を生成する方法と同一である。これにより、端末装置２０Ｂが生成する第２配信者動画は、端末装置２０Ａが生成する第２配信者動画３００（図８参照）と実質的に同一であり得る。したがって、端末装置２０Ｂは、図８に例示するような第２配信者動画３００を出力装置２６であるタッチパネル又はディスプレイ等に表示することができる。

再度図４Ａを参照し、次に、端末装置２０Ｃに着目する。
端末装置２０Ｃは、第１動作データに基づく第１配信者のアバター（第１アバター）のアニメーションと、第２動作データに基づく第２配信者のアバター（第２アバター）のアニメーションと、を含む動画を生成することができる。具体的には、端末装置２０ＣはＨＭＤ端末装置であるので、第１視聴者動画及び第２視聴者動画という２種類の動画を生成することができる。なお、端末装置２０Ｃは、サーバ装置３０より受信した１セットの動作データから、上述した手法によって、第１動作データ及び第２動作データの各々を抽出して動画の生成に利用することができる。

第１視聴者動画とは、端末装置２０ＣがＭＲ端末装置として機能した場合に、「視聴者Ａの視点」からみた現実空間に第１アバター及び第２アバターを配置した動画であり得る。第２視聴者動画とは、端末装置２０ＣがＶＲ端末装置として機能した場合に、第１仮想空間に第１アバター及び第２アバターを配置し、第１仮想空間における或る視点（例えば第１仮想空間に配置された仮想的なカメラ）からみて描画（表現）した動画であり得る。さらに、この第２視聴者動画は、「各視聴者に共通の視点」からみて描画（表現）した動画であり得る。第２視聴者動画は、第２配信者動画と同一の動画であり得る。

図１０は、図１に示した通信システム１において視聴者Ａの端末装置により表示される第１視聴者動画の一例を示す図である。視聴者Ａの端末装置２０Ｃにより表示される第１視聴者動画４００は、図１０に示すように、第１動作データに従って動作する、第１配信者の第１アバター２１０と、第２動作データに従って動作する、第２配信者の第２アバター２２０と、を含むことができる。なお第１配信者の第１アバター２１０及び第２配信者の第２アバター２２０の表示条件は、後述する。

端末装置２０Ｃは、ＨＭＤ端末装置であるので、端末装置２０Ｃのユーザである視聴者Ａの動作に基づいて第１トラッキング方式を用いて動作データ（第３動作データ）を生成することができる。なお視聴者Ａは第３動作データを生成するために右ハンドコントローラ１０２及び左ハンドコントローラ１０４を使用してもよく、使用しなくてもよい。以下に説明する例では、視聴者動画において右ハンドコントローラ１０２及び左ハンドコントローラ１０４が省略されている。

第１視聴者動画４００は、「視聴者Ａの視点」からみた現実空間の動画データに第１アバターのアニメーション及び第２アバターのアニメーションを配置した動画であり得る。本例において「視聴者Ａの視点」からみた現実空間の動画データは、カメラ部が取得する動画データである。本例においてカメラ部はユーザの両目近傍に設けられているため、視聴者Ａの頭部の動きに対応した現実空間の動画データを取得することができる。図１０において、現実空間の対象として、第１視聴者動画４００には視聴者Ａの手４７０（視聴者Ａの右手４７０ａ及び左手４７０ｂ）及びソファ４８０が表示されている。

さらに描画される第１アバター、第２アバターのアニメーションは、第３動作データに従って決められ変化し得る。例えば、視聴者Ａが現実空間における位置から前進（又は後退）することにより、現実空間の動画データが変化する。現実空間の動画データが変化することに伴い、第１視聴者動画４００において、第１アバター２１０及び第２アバター２２０が大きく（又は小さく）描画される。

第１視聴者動画４００において、第１アバター２１０は、第１動作データに従って動作する。第１配信者の端末装置２０ＡはＨＭＤ端末装置であるため、端末装置２０Ａにより生成される第１動作データは、第１トラッキング方式に基づいて生成された動作データである。したがって、第１視聴者動画４００において、第１動作データに基づいて、第１アバター２１０の位置及び第１アバター２１０が向く方向等は、変化し得る。

また、第１視聴者動画４００において、第２アバター２２０は、第２動作データに従って動作する。但し、第２配信者の端末装置２０Ｂは、スマホ端末装置であるため、端末装置２０Ｂにより生成される第２動作データは、第２トラッキング方式に基づいて生成された動作データ（顔における複数の部位の各々の深度と、頭部の座標及び角度と、を示す動作データ）である。したがって、第１視聴者動画４００において、第２動作データに基づいて、第２アバター２２０の頭部は動作する（例えば頭部を左右に振る）が、第２アバター２２０の位置は変化しない。

第２視聴者動画とは、上述したように、第１仮想空間に第１アバター及び第２アバターを配置し、第１仮想空間における或る視点からみて描画（表現）した動画であり得る。さらに、この第２動画は、「各視聴者に共通の視点」からみて描画（表現）した動画であり得る。ここで、端末装置２０Ｃがサーバ装置３０から受信する「１セットの動作データ」は、端末装置２０Ａ及び２０Ｂがサーバ装置３０から受信する「１セットの動作データ」と同一である。また、端末装置２０Ｃが第２視聴者動画を生成する方法は、上述した端末装置２０Ａ及び２０Ｂが第２配信者動画を生成する方法と同一である。これにより、端末装置２０Ｃが生成する第２視聴者動画は、端末装置２０Ａ及び２０Ｂが生成する第２配信者動画３００（図８参照）と実質的に同一であり得る。したがって、端末装置２０Ｃは、図８に例示するような第２配信者動画３００を出力装置２６であるＨＭＤ１００等に表示することができる。

また、端末装置２０Ｃもまた、上述した端末装置２０Ａと同様に、第１視聴者動画４００と第２視聴者動画とを組み合わせて表示することができる。端末装置２０Ａに関連して図９を参照して上述した手法は、端末装置２０Ｃにより表示される第１視聴者動画４００及び第２視聴者動画にも同様に適用され得る。例えば、図９と同様に第１視聴者動画４００において疑似端末装置３５０が表示され得る。

（２）図４Ｂについて
図４Ｂは、図４Ａに示した局面から、端末装置２０Ｃのユーザである視聴者Ａが、第３配信者として、第１配信者及び第２配信者と共同して動画を提供する局面に移行した様子を示す。

図４Ｂにおいて図４Ａと異なるのは、ＨＭＤ端末装置である端末装置２０Ｃが、第３配信者の動作に基づいて第１トラッキング方式を用いて生成した第３動作データを、サーバ装置３０に送信する点である。この結果、サーバ装置３０は、端末装置２０Ａ、端末装置２０Ｂ、端末装置２０Ｃ及び図示しない各視聴者の端末装置２０に対して、第１動作データ、第２動作データ及び第３動作データを含む１セットの動作データを送信し続ける。

端末装置２０Ａに着目する。
端末装置２０Ａは、第１動作データに基づく第１配信者のアバター（第１アバター）のアニメーションと、第２動作データに基づく第２配信者のアバター（第２アバター）のアニメーションと、第３動作データに基づく第３配信者のアバター（第３アバター）のアニメーションと、を含む動画を生成することができる。具体的には、端末装置２０ＡはＨＭＤ端末装置であるので、第１配信者動画及び第２配信者動画という２種類の動画を生成することができる。なお、端末装置２０Ａは、サーバ装置３０より受信した１セットの動作データから、上述した手法によって、第１動作データ、第２動作データ及び第３動作データの各々を抽出して動画の生成に利用することができる。

図１１は、図１に示した通信システム１において第１配信者の端末装置により表示される第１配信者動画の別の例を示す図である。第１配信者の端末装置２０Ａにより表示される第１配信者動画２００Ａは、図１１に示すように、第１動作データに従って動作する、第１配信者の第１アバター２１０と、第２動作データに従って動作する、第２配信者の第２アバター２２０と、第３動作データに従って動作する第３アバター４５０と、を含む。

第１配信者動画２００Ａにおける第１アバター２１０及び第２アバター２２０の生成又は表示方法については、第１配信者動画２００におけるものと同様であるので、省略する。

第１配信者動画２００Ａにおいて、第３アバター４５０は、第３動作データに従って動作する。第３配信者の端末装置２０ＣはＨＭＤ端末装置であるため、端末装置２０Ｃにより生成される第３動作データは、第１トラッキング方式に基づいて生成された動作データである。したがって、第１配信者動画２００Ａにおいて、第３動作データに基づいて、第３アバター４５０の位置及び第３アバター４５０が向く方向等は、変化し得る。

図１２は、図１に示した通信システム１において第１配信者の端末装置により表示される第２配信者動画の別の例を示す図である。図１２に例示されるように、第２配信者動画３００Ａは、第１動作データに従って動作する、第１配信者の第１アバター２１０と、第２動作データに従って動作する、第２配信者の第２アバター２２０と、第３動作データに従って動作する、第３配信者の第３アバター４５０と、を含むことができる。

第２配信者動画３００Ａが図８に示した第２配信者動画３００と異なるのは、第２配信者動画３００Ａが第３アバター４５０を含む点である（その他の点については、第２配信者動画３００に関連して上述したとおりである）。

第３動作データは、第１トラッキング方式に従って生成されるため、この第３動作データに基づいて動作する第３アバター４５０の第１仮想空間における位置は変化し得るし、第３アバター４５０が向く方向も変化し得る。したがって、第２配信者動画３００Ａにおいて、第３アバター４５０の位置は変化し得るし、第３アバター４５０が向く方向等も変化し得る。

また、第３アバター４５０は、第２配信者動画３００に関連して上述したとおりの理由により、第１アバター２１０とともに後列に配置され得ることが好ましい。

５－２．第２ケース
第２ケースでは、ＨＭＤ端末装置を利用する第１配信者が単独で各視聴者に動画を提供する。この後、視聴者Ａが、ＨＭＤ端末装置を利用して、第１配信者と共同して各視聴者に動画を提供する。

第２ケースは、上述した第１ケース（図４Ａ～図４Ｂ）において、第２配信者、その端末装置２０Ｂ及び第２動作データを除外したケースに相当する。すなわち、図５Ａ～図５Ｂは、それぞれ、図４Ａ～図４Ｂにおいて、第２配信者、その端末装置２０Ｂ及び第２動作データを除外したものに相当する。したがって、冗長な説明を避けるために、図５Ａ～図５Ｂにおいて、装置間において送信されるデータ（第１動作データ～第４動作データ）を示すに留め、それらの説明を省略する。

５－３．第３ケース
第３ケースでは、スマホ端末装置を利用する第２配信者が単独で各視聴者に動画を提供する。この後、視聴者Ａが、ＨＭＤ端末装置を利用して、第２配信者と共同して各視聴者に動画を提供する。

第３ケースは、上述した第１ケース（図４Ａ～図４Ｂ）において、第１配信者、その端末装置２０Ａ及び第１動作データを除外したケースに相当する。すなわち、図６Ａ～図６Ｂは、それぞれ、図４Ａ～図４Ｂにおいて、第１配信者、その端末装置２０Ａ及び第１動作データを除外したものに相当する。したがって、冗長な説明を抑えるために、図６Ａ～図６Ｂにおいて、装置間において送信されるデータを示すに留め、それらの説明を省略する。

５－４．変形例
上述した様々な実施形態では、サーバ装置３０が、各配信者の端末装置２０から受信したすべての動作データを、１セットの動作データとして、各配信者の端末装置２０及び各視聴者の端末装置２０に対して送信する場合について説明した。すなわち、上述した様々な実施形態では、サーバ装置３０が、或る動作データを送信してきた配信者の端末装置に対しても、当該或る動作データを１セットの動作データに含めて送信する場合について説明した。

この場合、共同して動画を配信する配信者の総数が増加するにつれて、各配信者の端末装置２０がサーバ装置３０から受信する動作データの量、すなわち、サーバ装置３０が各配信者の端末装置２０に対して送信する動作データの量が増加する結果、通信網が逼迫して、各配信者の端末装置２０からサーバ装置３０を介して各視聴者の端末装置２０に対して円滑に動画を提供することが困難になる可能性があるという課題が生じ得る。このような課題に対処すべく、別の実施形態では、サーバ装置３０は、或る動作データを送信してきた配信者の端末装置に対しては、当該或る動作データを送信しないようにする構成を採用することも可能である。これにより、各配信者の端末装置２０がサーバ装置３０から受信する動作データの量、すなわち、サーバ装置３０が各配信者の端末装置２０に対して送信する動作データの量を減少させることができ、したがって、各配信者の端末装置２０からサーバ装置３０を介して各視聴者の端末装置２０に対してより円滑に動画を提供することができる。この場合、この配信者の端末装置は、自己が生成した当該或る動作データを用いて、動画の生成を行うことができる。例えば、図４Ａ～図４Ｂに示した構成では、サーバ装置３０は、第１動作データを、端末装置２０Ｂ及び各視聴者の端末装置２０のみに送信して、端末装置２０Ａには送信せず、同様に、第２動作データを、端末装置２０Ａ及び各視聴者の端末装置２０のみに送信して、端末装置２０Ｂには送信しないようにすることができる。また、サーバ装置３０は、図４Ｂに示した構成では、第３動作データを端末装置２０Ｃには送信しないようにすることができる。

また、上述した様々な実施形態では、自明であるため、明示的には言及していないが、各配信者の端末装置及び各視聴者の端末装置は、サーバ装置から受信する「１セットの動作データ」の内部に含まれた、又は、「１セットの動作データ」に組み合わせられた、各配信者の端末装置により生成された音声データを取得することができる。このような音声データを用いることにより、各配信者の端末装置及び各視聴者の端末装置は、各配信者が発した音声が組み込まれた第１配信者・視聴者動画及び／又は第２配信者・視聴者動画を再生することもできるし、第１配信者・視聴者動画及び／又は第２配信者・視聴者動画を表示しながら各発信者が発した音声を再生することもできる。

また、上述した様々な例では、第１配信者・視聴者動画及び第２配信者・視聴者動画等の生成に関連する動作を各端末装置２０が実行する方式（クライアントレンダリング方式）に着目して説明してきた。しかし、図４Ａ～図６Ｂの各々において各端末装置２０により実行されるものとして説明してきた動画の生成に関する動作を、１つのサーバ装置３０が単独で又は複数のサーバ装置３０が分担して実行する方式（サーバレンダリング方式）を採用することも可能である。この場合、上記１又はそれ以上のサーバ装置３０が、各端末装置２０の代わりに、動画の生成に関連する様々な動作を実行することにより、第１視聴者動画及び／又は第２視聴者動画を生成して端末装置２０Ｃに送信することができる。なお、上述したとおり、サーバ装置３０は、各配信者の端末装置２０から動作データを受信するので、各端末装置２０の代わりにかかる動作データを利用して各種動画の生成を実行することができる。またサーバ装置３０は、端末装置２０Ｃのカメラ部が取得する動画データを受信してよい。一方、サーバ装置３０は、各視聴者の端末装置２０から動作データを必ずしも受信する訳ではない。したがって、サーバレンダリング方式を採用する場合には、サーバ装置３０は、各視聴者の端末装置から単位時間ごとに又は任意のタイミングで動作データを受信するようにしてもよい。

また、上述した様々な例では、第１配信者・視聴者動画及び第２配信者・視聴者動画等の生成に関連する動作を各端末装置２０が実行する方式（クライアントレンダリング方式）に着目して説明してきた。しかし、各端末装置２０は、ウェブブラウザを介して、サーバ装置３０又はウェブサーバ装置３０からウェブページを受信し、このウェブページに含まれたコンピュータプログラムを実行することにより、このような第１配信者・視聴者動画及び第２配信者・視聴者動画等の生成に関連する動作を遂行する方式（ブラウザレンダリング方式）を採用することも可能である。

以上説明したプラットフォームによれば、いずれの配信者の端末装置が第１トラッキング方式及び第２トラッキング方式のうちのいずれの方式を利用して動作データを生成した場合であっても、各端末装置は、上記配信者の端末装置により採用されたトラッキング方式に応じて動画を生成又は表示することができる。さらに、各端末装置は、この端末装置がＨＭＤ端末装置及びスマホ端末装置であるかに応じて、第１配信者・視聴者動画及び第２配信者・視聴者動画のうちの利用可能な一方又は両方の動画を生成又は表示することもできる。これにより、上記プラットフォームは、配信者がその身体に装着等されるトラッキング装置を利用して動画を各視聴者等に提供することを可能にする。

６．通信システム１により実行される動作
６－１．基本的な動作
次に、上述したプラットフォームを利用して通信システム１において実行される動作の具体例について、端末装置２０により表示される第１視聴者動画に着目して説明する。以下、上述したプラットフォームに関連して説明した事項については、冗長な説明を避けるために、その説明を省略する。

図１３は、図１に示した通信システム１において実行される動作の一例を示すフロー図である。まず、ステップ（以下「ＳＴ」という。）５０２において、ユーザ（ここでは「視聴者Ａ」がその端末装置２０Ｃを操作することにより、端末装置２０Ｃに対して、動画サービスの提供を受けるための特定のアプリケーションを起動して実行させる。なお、以下に説明する動作は、他の任意の端末装置（ＨＭＤ端末装置）２０にも同様に当て嵌まる。

次にＳＴ５０４において、上記特定のアプリケーションを実行する端末装置２０Ｃは、「準備モード」を実行することができる。この「準備モード」は、端末装置２０Ｃが、他の端末装置２０により提供された動画を受信することもせず、他の端末装置２０に対して動画を配信することもしないときに、動画の受信又は配信を準備するモードである。なお、端末装置２０Ｃは、現在のモードとしていずれのモードを実行しているかを示すモード識別データを、記憶しておくことができる。端末装置２０Ｃは、「準備モード」に移行してから「準備モード」を終了するまでの間、「準備モード」を示すモード識別データを記憶することができる。任意のタイミングにおいて、端末装置２０Ｃは、モード識別データを参照することにより、いずれのモードを実行しているかを判定することができる。

端末装置２０Ｃは、「準備モード」を実行しているときには、図１４に示すような画面（ホーム画面）を表示することができる。

図１４は、図１に示す通信システムにおいて端末装置により「準備モード」の実行に際して表示される画面の一例を示す図である。図１４に示すように、ＨＭＤ端末装置である端末装置２０Ｃは、ホーム画面において、視聴者Ａの視点から見える現実空間に関する第１視聴者動画６００を表示することができる。上記「５．プラットフォーム」において上述したとおり、第１視聴者動画６００は、端末装置２０Ｃのカメラ部が取得する動画データを含むものである。図１４の第１視聴者動画６００において、現実空間の対象としてソファ４８０が表示されている。

さらに、端末装置２０Ｃは、第１視聴者動画６００と組み合わせて、入力オブジェクト６１０を表示することができる。入力オブジェクト６１０は、視聴者Ａによる操作入力を可能とするユーザインターフェイスとして機能し得る。具体的には、入力オブジェクト６１０は、複数のアイコン、例えば、端末装置２０Ｃを「視聴モード」に移行させるためのアイコン６２０、端末装置２０Ｃを「単独配信モード」に移行させるためのアイコン６２２、及び、端末装置２０Ｃを「共同配信モード」（「コラボ配信モード」）に移行させるためのアイコン６２４等を含むことができる。図１４において、入力オブジェクト６１０は、第１視聴者動画６００の中心に表示される。

第１視聴者動画６００は、視聴者Ａの視点から見える現実空間に関する動画であるので、視聴者Ａが体の一部（例えば、視聴者の手）を動かすことにより、視聴者Ａの体の一部を表示することができる。したがって、視聴者Ａの体の一部とアイコンが重なる場合にそのアイコンに対応するモードを選択することができる。これにより、視聴者Ａは、例えばスマートフォンのような端末装置のタッチパネルに触れて端末装置を操作しているかのように、疑似的に表示された端末装置を操作することができる。

なお視聴者Ａの体の一部とアイコンが重なる場合とは、視聴者Ａの特定の部位とアイコンが重なる場合であってよい。視聴者Ａの特定の部位とは、例えば、視聴者Ａの指先である。また誤動作を防止するために、視聴者Ａの体の一部とアイコンが一定期間重なる場合に、視聴者Ａの体の一部とアイコンが重なったと判定されてよい。

また端末装置２０Ｃは、入力オブジェクト６１０に関連させて、視聴者Ａに装着又は把持されるトラッキング装置、ここでは、例えば、右ハンドコントローラ１０２又は左ハンドコントローラ１０４に対する視聴者Ａによる操作に従って動作するポインタ（不図示）を表示してもよい。端末装置２０Ｃは、ポインタを、紙面上、下方から上方に向かって流れるレーザー光として描画することができる。端末装置２０Ｃは、ポインタの軌跡を描画することも可能である。視聴者Ａは、右ハンドコントローラ１０２又は左ハンドコントローラ１０４を動かすことにより、入力オブジェクト６１０の表面上において、ポインタを動かすことができる。視聴者Ａは、アイコン６２０、６２２、６２４のいずれかにポインタを位置させ、右ハンドコントローラ１０２又は左ハンドコントローラ１０４のいずれかのボタンを押圧することにより、そのアイコンに対応するモードを選択することが可能である。

端末装置２０Ｃは、入力オブジェクト６１０において、第２視聴者動画６４０を表示することもできる。第２視聴者動画６４０は、第１仮想空間において、視聴者Ａの動作を示す動作データに基づいて動作する第３アバター４５０を配置し、この第３アバター４５０を正面からみて表示することができる。

さらに、端末装置２０Ｃは、このような入力オブジェクト６１０を、図１４に例示するように、疑似的に表現された端末装置（疑似端末装置）として表示することができる。疑似端末装置は、一態様として、疑似的に表現された疑似スマートフォン（疑似スマホ）を含み得る。

また、端末装置２０Ｃは、一実施形態では、第１視聴者動画６００と、入力オブジェクト６１０とを、出力装置２６である表示部（ＨＭＤ１００等）において、相互に異なる領域に表示することもできる。例えば、端末装置２０Ｃは、表示部により形成される表示領域に含まれる特定領域のうち、右部、左部、上部又は下部といった一部の領域に第１視聴者動画６００を表示し、その特定領域のうちの残りの領域に入力オブジェクト６１０を表示することができる。もう１つの好ましい実施形態では、端末装置２０Ａは、図１４に例示されるように、入力オブジェクト６１０を、第１視聴者動画６００が表示される領域の内部に表示することもできる。この場合、入力オブジェクト６１０の表示される位置は、適宜視聴者Ａによって設定可能であってもよい。

図１３に戻り、次に、ＳＴ５０６において、端末装置２０Ｃは、「準備モード」を実行している間に、視聴者Ａによりいずれかのモード（ここでは、例えば、「視聴モード」、「単独配信モード」又は「共同配信モード」）が選択されたか否かを判定することができる。端末装置２０Ｃは、いずれのモードも選択されていないと判定した場合には、ＳＴ５０４を継続して実行することができる。一方、端末装置２０Ｃは、いずれかのモードが選択されたと判定した場合には、その選択されたモードに対応するステップに移行することができる。本例では、ＳＴ５０６において、「視聴モード」が選択されたと判定した場合を説明する。

次にＳＴ５０８において、端末装置２０Ｃは「視聴モード」に移行する。「視聴モード」において、端末装置２０Ｃは、第１視聴者動画７００を表示する。

図１５は、図１に示す通信システムにおいて端末装置により「視聴モード」の実行に際して表示される第１視聴者動画７００の一例を示す図である。図１５に示すように、ＨＭＤ端末装置である端末装置２０Ｃは、視聴者Ａの視点から見える現実空間に関する第１視聴者動画７００を表示することができる。図１４の第１視聴者動画６００と同様に、第１視聴者動画７００は、端末装置２０Ｃのカメラ部が取得する動画データを含むものである。図１５において、第１視聴者動画７００には視聴者Ａの手４７０（視聴者Ａの右手４７０ａ及び左手４７０ｂ）及びソファ４８０が表示されている。図１５に示すとおり、第１視聴者動画７００は配信者のアバターのアニメーションを含むものではない。

再度図１３に戻り、次に、ＳＴ５１０において、第１視聴者動画７００において視聴者Ａが所定アクションを実行したかが判定される。所定アクションとは、ユーザの特定の動作である。所定アクションは、ユーザの手の動きに基づく動作であってよい。所定アクションは、一例として、ユーザが拍手をする動作であってよい。ユーザが拍手をする動作とは、ユーザが両手を合わせる動作とユーザが両手を離す動作をそれぞれ複数回連続して行う動作であってよい。所定アクションとは、ユーザが第１視聴者動画７００に表示される対象に手を触れる動作であってよい。ユーザが第１視聴者動画７００に表示される対象に手を触れる動作とは、例えば、ユーザが図１５のソファ４８０に手を触れる動作である。ユーザが第１視聴者動画７００に表示される対象に手を触れる動作とは、例えば、ユーザが図１５に表示される地面に手を触れる動作である。所定アクションとは、ユーザが特定のハンドサイン（例えば、親指を立てる動作であるグッドポーズ（サムズアップ）等）をする動作であってよい。所定アクションは、実行したかが判定できる所定のアクションであってよい。所定アクションは、これらの例に限られない。本例において、所定アクションをユーザが拍手をする動作であるとして説明し、当該動作を第１所定アクションとする。第１所定アクションは、配信者のアバターを出現させる出現アクションである。

端末装置２０Ｃは、所定アクションを実行したかを判定してよい。なおサーバレンダリング方式を採用する場合には、サーバ装置３０は、所定アクションを実行したかを判定してよい。以下では、端末装置２０Ｃが第１所定アクションを実行したかを判定する例について説明する。

端末装置２０Ｃは、第１視聴者動画７００を用いて所定アクションを実行したかを判定してよい。１つの態様として端末装置２０Ｃは、第１視聴者動画７００から、画像認識等により現実空間における対象の位置座標を取得してよい。例えば、右手４７０ａの位置座標とは、右手４７０ａと認識される対象の位置情報の集合であり得る。端末装置２０Ｃは、現実空間における対象の位置座標を用いて、所定アクションを実行したかを判定してよい。例えば、ユーザが拍手をする動作の場合、右手４７０ａの位置座標の集合及び左手４７０ｂの位置座標の集合が重なった場合に、ユーザが両手を合わせる動作が実行されたと判定され、右手４７０ａの位置座標の集合及び左手４７０ｂの位置座標の集合が離れた場合に、ユーザが両手を離す動作が実行されたと判定される。そしてユーザが両手を合わせる動作とユーザが両手を離す動作をそれぞれ複数回連続して行う動作が実行された場合（つまり、「パチパチ・・・」と手をたたいた場合）に、ユーザが拍手をする動作（第１所定アクション）が実行されたと判定される。また所定以上の速さでユーザが両手を合わせる動作が実行され、その後ユーザが両手を離す動作が実行された場合（つまり、勢いよく「パン！」と手をたたいた場合）に、ユーザが拍手をする動作（第１所定アクション）が実行されたと判定されてもよい。

また別の態様として端末装置２０Ｃは、第１視聴者動画７００から、画像認識等により現実空間における対象を認識してよい。例えば、端末装置２０Ｃは、第１視聴者動画７００において、右手４７０ａと左手４７０ｂを認識する。そして、認識された右手４７０ａと左手４７０ｂが接触したと認識された場合に、ユーザが両手を合わせる動作が実行されたと判定され、認識された右手４７０ａと左手４７０ｂが不接触したと認識された場合に、ユーザが両手を離す動作が実行されたと判定されてよい。また、単に認識された右手４７０ａと左手４７０ｂが第１視聴者動画７００上で重なった場合に、ユーザが両手を合わせる動作が実行されたと判定され、認識された右手４７０ａと左手４７０ｂが第１視聴者動画７００上で離れた場合に、ユーザが両手を離す動作が実行されたと判定されてもよい。

また更なる別の態様として端末装置２０Ｃが有するモーションセンサ（例えば、ジャイロセンサ、加速度センサ及び／又は地磁気センサ）から取得される情報に基づいて、ユーザが両手を合わせる動作又はユーザが両手を離す動作が実行されたと判定されてもよい。この場合、一例としてユーザは、モーションセンサを有するコントローラを装着又は把持する。

そして、ＳＴ５１０において、第１視聴者動画７００において視聴者Ａが所定アクションを実行したかが判定された場合に、ＳＴ５１２において、第１視聴者動画７００において配信者のアバターのアニメーションが表示される。

図１６は、図１に示す通信システムにおいて端末装置により第１所定アクションが実行されたと判定された場合に表示される第１視聴者動画８００の一例を示す図である。本例において、第１視聴者動画８００において第２配信者の第２アバター２２０が表示される。

第２配信者の第２アバター２２０が表示される位置は、視聴者Ａの位置から第１所定距離離れた位置である。つまり、現実空間における視聴者Ａの位置から第１所定距離離れた位置に第２配信者の第２アバター２２０を表示させる。第１所定距離とは、例えば１ｍである。第２配信者の第２アバター２２０が表示される位置は、視聴者Ａが拍手をした方向に視聴者Ａの位置から第１所定距離離れた位置であってよい。視聴者Ａが拍手をした方向とは、視聴者Ａの両手が表示される方向であってよい。本例では、第１視聴者動画８００の中央に向かって視聴者Ａが拍手を行い、第１視聴者動画８００の中央に第２配信者の第２アバター２２０が表示される。また単に視聴者Ａが拍手をした方向とは無関係に、視聴者Ａが拍手をした場合に、第１視聴者動画８００の中央に第２配信者の第２アバター２２０が表示されてもよい。

本例では第１所定アクションが実行されたと判定された場合に、第２配信者の第２アバター２２０が表示されているが、表示される配信者のアバターの例はこれに限られない。第１所定アクションが実行されたと判定された場合に、第１配信者の第１アバター２１０が表示されてもよい。第１所定アクションが実行されたと判定された場合に、配信中の配信者の中からランダムでアバターが表示されてもよい。

また第１所定アクションが実行されたと判定された場合に表示される配信者は、視聴者Ａの視聴履歴に基づいて選択あるいは決定されてもよい。例えば、視聴者Ａがあらかじめ設定したリスト、視聴者Ａの配信履歴に関するリスト及び視聴者Ａの視聴履歴に関するリストに基づいて決定されてよい。より具体的には例えば、第１所定アクションが実行されたと判定された場合に、配信中の配信者であってお気に入りリストに登録されている配信者の中からランダムでアバターが表示されてもよい。第１所定アクションが実行されたと判定された場合に、配信中の配信者であってお気に入りリストに登録されている配信者の中から上部に表示されている順にアバターが表示されてもよい（例えば、後述する図２５のお気に入りリストにおいて、「Ｕさん」、「Ｖさん」、「Ｗさん」の順にアバターが表示される）。また第１所定アクションが実行されたと判定された場合に、配信中の配信者であってお気に入りリストに登録されている配信者の中から予め定められた優先度に基づいてアバターが表示されてもよい。また第１所定アクションが実行されたと判定された場合に、配信中の配信者であって視聴者Ａと共同配信をした回数が最も多い配信者のアバターが表示されてもよい。また第１所定アクションが実行されたと判定された場合に、配信中の配信者であって視聴者Ａが視聴した回数が最も多い配信者のアバターが表示されてもよい。また第１所定アクションが実行されたと判定された場合に、配信中の配信者であって、視聴者Ａが過去に視聴した時間帯と当該配信者が過去に配信した時間帯が最も重複する配信者のアバターが表示されてもよい。また第１所定アクションが実行されたと判定された場合に、配信中の配信者であって、視聴者Ａが過去に視聴した時間が所定値以下の配信者のアバターは表示されなくてもよい。例えば、視聴者Ａが過去に数秒（例えば、３秒等）しか特定の配信者を視聴しなかった場合に、当該配信者は視聴者Ａにとって興味がないと判断され、当該配信者のアバターは、表示されなくてもよい（この場合、当該配信者以外の配信者のアバターが表示される）。

また第１所定アクションが実行されたと判定された場合に表示される配信者は、視聴者Ａ以外の別の視聴者（視聴者Ｂとする）の視聴履歴に基づいて選択あるいは決定されてもよい。この場合、第１所定アクションが実行されたと判定された場合に表示される配信者は、視聴者Ａが視聴したことがない配信者も含まれ得る。例えば、第１所定アクションが実行されたと判定された場合に、配信中の配信者であって視聴者Ｂが視聴した回数が最も多い配信者のアバターが表示されてもよい。視聴者Ｂは、視聴者Ａの視聴履歴に基づいて決定されてよい。視聴者Ｂは、視聴履歴が視聴者Ａと相関する視聴者であってよい。視聴者Ｂと視聴者Ａの視聴履歴が相関するとは、視聴者Ｂが過去に視聴した配信者と視聴者Ａが過去に視聴した配信者が一部重複することであってもよい。視聴者Ｂと視聴者Ａの視聴履歴が相関するとは、視聴者Ｂの配信者のお気に入りリストと視聴者Ａの配信者のお気に入りリストが一部重複することであってもよい。また視聴者Ｂは、ランダムで決定されてもよい。

以上のように、視聴者Ａが第１所定アクションを実行したと判定された場合に、配信者のアバターが第１視聴者動画８００に表示される。したがって、視聴者Ａの任意のタイミングで配信者のアバターを現実空間に投影することができ、視聴者ＡはＭＲ空間を楽しむことができる。また配信者のアバターは後述したとおり動作データに基づいて動作するため、視聴者ＡはＭＲ空間において没入感を得ることができる。またＳＴ５１２以後、視聴モードが継続する。

図１７は、第１視聴者動画８００が表示された後に図１に示す通信システムにおいて端末装置により第１所定アクションが実行されたと判定された場合に表示される第１視聴者動画９００の一例を示す図である。本例の第１視聴者動画９００において、第２配信者の第２アバター２２０に加えて第１配信者の第１アバター２１０が表示される。

第１配信者の第１アバター２１０が表示される位置は、視聴者Ａの位置から第２所定距離離れた位置である。つまり、現実空間における視聴者Ａの位置から第２所定距離離れた位置に第１配信者の第１アバター２１０を表示させる。第２所定距離とは、例えば１ｍである。第１配信者の第１アバター２１０が表示される位置は、視聴者Ａが拍手をした方向に視聴者Ａの位置から第２所定距離離れた位置であってよい。第２所定距離は、第１所定距離と同一であってもよく、異なっていてもよい。また単に視聴者Ａが拍手をした方向とは無関係に、視聴者Ａが拍手をした場合に、第１視聴者動画９００の中央に第１配信者の第１アバター２１０が表示されてもよい。

本例では、第１配信者の第１アバター２１０の位置と第２配信者の第２アバター２２０の位置の距離が所定値以上である。当該所定値は、例えば、第１配信者の第１アバター２１０と第２配信者の第２アバター２２０が部分的に重ならない値である。当該所定値は、適宜視聴者Ａによって設定されてよい。第１配信者の第１アバター２１０の位置と第２配信者の第２アバター２２０の位置の距離が所定値以下の場合については図１８で説明する。

以上のように、視聴者Ａが第１所定アクションを実行したと判定されるたびに、判定された回数分配信者のアバターが第１視聴者動画９００に表示される。したがって、視聴者Ａは複数の配信者のアバターを現実空間に投影することができ、視聴者ＡはＭＲ空間を楽しむことができる。なお、第１所定アクションが実行されたと判定された場合に表示できる配信者が存在しない場合（例えば、第２配信者が第１視聴者動画８００に表示されている状態で他の配信者が配信を行っていない場合）は、他の配信者を表示しなくてよい。

図１８は、第１視聴者動画８００が表示された後に図１に示す通信システムにおいて端末装置により第１所定アクションが実行されたと判定された場合に表示される第１視聴者動画１０００の一例を示す図である。本例において、第２配信者の第２アバター２２０の代わりに第１視聴者動画１０００において第１配信者の第１アバター２１０が表示される。

第１配信者の第１アバター２１０を表示する際に、第１配信者の第１アバター２１０の位置と第２配信者の第２アバター２２０の位置の距離が所定値以下である場合に、第１配信者の第１アバター２１０と第２配信者の第２アバター２２０が部分的に重なる場合がある。この場合、第１配信者の第１アバター２１０と第２配信者の第２アバター２２０が重なる動画が第１視聴者動画１０００に表示され、視聴者Ａは違和感を覚え、ＭＲ空間において没入感を得にくくなる。

本例では、第１配信者の第１アバター２１０を表示する際に、第１配信者の第１アバター２１０の位置と第２配信者の第２アバター２２０の位置の距離が所定値以下である場合に、第２配信者の第２アバター２２０の動画を削除するため、第１配信者の第１アバター２１０と第２配信者の第２アバター２２０が部分的に重ならなくなる。したがって、視聴者ＡがＭＲ空間において得る没入感が損なわれなくなる。さらに視聴者Ａは、表示する配信者を自由に変更することが可能であり、視聴者ＡはＭＲ空間を楽しむことができる。

なお前述したとおり第１動作データは第１トラッキング方式に従って生成されるため、第１アバター２１０の第１仮想空間における位置は変化し得る。そのため、視聴者Ａが第１所定アクションを実行したと判定される（つまり、配信者のアバターの表示が開始される）際には第１配信者の第１アバター２１０の位置と第２配信者の第２アバター２２０の位置の距離が所定値以上であっても、一定期間経過後に第１配信者の第１アバター２１０の位置と第２配信者の第２アバター２２０の位置の距離が所定値以下になる場合がある。この場合、第１アバター２１０の位置と第２配信者の第２アバター２２０の位置の距離が所定値以上になるように、第１アバター２１０の移動を制限してもよい。例えば、第１アバター２１０の位置と第２配信者の第２アバター２２０の位置の距離が所定値以下となる第１アバター２１０の移動は無効になってよい。また第１配信者の第１アバター２１０の位置と第２配信者の第２アバター２２０の位置の距離が所定値以下になる場合に、どちらか一方の配信者のアバターの動画を削除してもよい。

６－２．別の実施例
図１９は、図１に示す通信システムにおいて端末装置により第２所定アクションが実行されたと判定された場合に表示される第１視聴者動画１１００の一例を示す図である。第２所定アクションは、配信者のアバターを出現させる出現アクションであり、第１所定アクションと異なるアクションであってよい。本例において第２所定アクションとは、視聴者Ａが第１視聴者動画１１００に表示される対象に手を触れる動作である。図１９において対象とは、視聴者Ａの居る現実空間に存在するソファ４８０である。

第２配信者の第２アバター２２０は、対象の位置に表示される。本例において、第２配信者の第２アバター２２０は、ソファ４８０の位置に表示される。図１９では、ソファ４８０の位置に第２配信者の第２アバター２２０が表示される。図１９に示すとおり、ソファ４８０の上部に第２配信者の第２アバター２２０が表示されてよい。またソファ４８０と重なるように第２アバター２２０が表示されてもよい。

視聴者Ａが第２所定アクションを実行したと判定された場合に、配信者のアバターが第１視聴者動画１１００に表示される。したがって、視聴者Ａの任意のタイミングで配信者のアバターを現実空間に投影することができ、視聴者ＡはＭＲ空間を楽しむことができる。また配信者のアバターは後述したとおり動作データに基づいて動作するため、視聴者ＡはＭＲ空間において没入感を得ることができる。なお前述した実施例と同様に、第２所定アクションが複数回実行された場合には、複数の配信者のアバターを表示してよい。新しく配信者のアバターを表示する際に、新しく表示する配信者のアバターの位置とすでに表示されていたアバターの位置の距離が所定値以下になる場合に、すでに表示されていたアバターの動画を削除してよい。

図２０は、図１に示す通信システムにおいて端末装置により第２所定アクションが実行されたと判定された場合に表示される第１視聴者動画１２００の一例を示す図である。本例において、第１視聴者動画１２００における第２配信者の第２アバター２２０の表示が図１９の第１視聴者動画１１００における第２配信者の第２アバター２２０の表示と異なる。

本例において第２配信者の第２アバター２２０を表示する場合に、第１視聴者動画１２００において表示される第２配信者の第２アバター２２０が位置する対象に基づいて、第２配信者の第２アバター２２０の表示が変更される。本例では、第２配信者の第２アバター２２０がソファ４８０の位置に表示されるため、ソファ４８０に座る動作をするように第２配信者の第２アバター２２０を表示する。第２配信者の第２アバター２２０がソファ４８０の位置に表示される場合に、ソファ４８０に寝転がるような動作をするように第２配信者の第２アバター２２０配信者を表示してもよい。また第２配信者の第２アバター２２０が地面に示される場合に、直立するように第２配信者の第２アバター２２０を表示してよい。第２配信者の第２アバター２２０が地面に示される場合に、特定のポーズをとるように第２配信者の第２アバター２２０を表示してよい。第２配信者の第２アバター２２０が位置する対象に基づいて、第２配信者の第２アバター２２０の表示が変更されるため、視聴者ＡはＭＲ空間において没入感を得ることができる。

なおアバターが位置する対象に基づいて表示が変更されるアバターは、スマホ端末装置の配信者のアバター（例えば、第２配信者の第２アバター２２０）に限定してよい。スマホ端末装置の配信者のアバターは、アバターの位置が変化しないため、スムーズに表示を変更することが可能である。

図２１は、第１視聴者動画８００が表示された後に図１に示す通信システムにおいて端末装置により第３所定アクションが実行されたと判定された場合に表示される第１視聴者動画１３００の一例を示す図である。本例において、第２配信者の第２アバター２２０に加えて第１視聴者動画１３００においてハート状のギフト４９０が表示される。図２１において、第２配信者の第２アバター２２０の動画とギフト４９０が組み合わされて表示される。

第３所定アクションが実行されたと判定された場合に、ギフト４９０が表示されてよい。第３所定アクションは、ギフトを付与するギフトアクションである。ここで第３所定アクションとは、前述した第１所定アクション、第２所定アクションとは異なるアクションであってよい。本例では、第３所定アクションとは特定のアバターに指で形成した指ハートを向けるアクションである。第３所定アクションは、単に指ハートを形成するアクションであってもよい。第３所定アクションが単に指ハートを形成するアクションである場合、第１視聴者動画１３００に表示される全てのアバターにギフトが付与されてよい。また第３所定アクションが単に指ハートを形成するアクションである場合、第１視聴者動画１３００の中央付近に表示されるアバターにギフトが付与されてもよい。第３所定アクションが実行されたと判定された場合にギフトが付与されるため、視聴者Ａは動画視聴をより楽しむことができる。また視聴者Ａによって付与されたギフトに関するギフト情報は、配信者の端末装置に送信され、配信者の端末装置に表示される動画に反映されてよい。したがって、配信者と視聴者はギフトを介してコミュニケーションを行うことができる。

なおギフト情報は、例えば以下に例示するデータを含むことが可能である。
（Ａ）視聴者の端末装置２０（ここでは、端末装置２０Ｃ）により付与されたギフトが、そのギフトを付与（送信）した端末装置２０及び／又は付与（送信）者を識別するデータ。
（Ｂ）視聴者の端末装置２０（ここでは、端末装置２０Ｃ）により付与されたギフトが、そのギフトを受信した（付与された）端末装置２０及び／又は受信者を識別するデータ。
（Ｃ）視聴者Ａの端末装置２０Ｃにより付与されたギフトが、第１ギフティング方式及び第２ギフティング方式のうちのいずれの方式に従って生成されたのかを示すデータ。

なお第１ギフティング方式とは、付与（送信）者のパラメータを消費しないギフティング方式である。一例として第３所定アクションにより表示されるギフトは、第１ギフティング方式により生成されたギフトである。第２ギフティング方式とは、付与（送信）者のパラメータを消費するギフティング方式である。第２ギフティング方式によりギフトが付与された場合に、例えば付与（送信）者のゲーム内通貨、所持コインが消費される。一例として後述する第４所定アクション、第５所定アクションにより表示されるギフトは、第２ギフティング方式により生成されたギフトである。この場合、第４所定アクションでギフトが表示された後、第５所定アクション実行時に付与（送信）者のパラメータを消費する旨の確認のダイアログを表示してもよい。

図２２は、第１視聴者動画８００が表示された後に図１に示す通信システムにおいて端末装置により第４所定アクションが実行されたと判定された場合に表示される第１視聴者動画１４００の一例を示す図である。本例において、第２配信者の第２アバター２２０に加えて第１視聴者動画１３００においてケーキ状のギフト５１４が表示される。図２２において、手４７０に重ねてギフト５１４が表示される。

第４所定アクションが実行されたと判定された場合に、ギフト５１４が表示されてよい。ここで第４所定アクションとは、前述した第１所定アクション、第２所定アクション、第３所定アクションとは異なるアクションであってよい。本例では、第４所定アクションは両手を上側に向けるアクションである。第４所定アクションが実行されたと判定された場合に、手４７０と連動してギフト５１４が表示されるため、第１視聴者動画１４００において視聴者Ａが手４７０上にケーキを持っているように表示される。また第４所定アクションは片手でグラスやワインのボトル等を持つアクションであってもよい。第４所定アクションが片手でグラスやワインのボトル等を持つアクションで当該アクションが実行された場合、グラス状やワインのボトル状のギフトが表示される。また第４所定アクションは両手を接触させた状態から所定距離離すアクションであってもよい。第４所定アクションが両手を接触させた状態から所定距離離すアクションで当該アクションが実行された場合、視聴者Ａの手にケーキタワー状のギフトが表示される。

図２３は、第１視聴者動画１４００が表示された後に図１に示す通信システムにおいて端末装置により第５所定アクションが実行されたと判定された場合に表示される第１視聴者動画１５００の一例を示す図である。本例において、第２配信者の第２アバター２２０の代わりに第１視聴者動画１０００において第２配信者の第２アバターとギフト５１４に関する動画２４０が表示される。

第５所定アクションが実行されたと判定された場合に、第２配信者の第２アバターとギフト５１４に関する動画２４０が表示されてよい。第５所定アクションは、ギフトを付与するギフトアクションである。ここで第５所定アクションとは、前述した第１所定アクション、第２所定アクション、第３所定アクション、第４所定アクションとは異なるアクションであってよい。本例では、ギフト５１４を投げるアクションである。

第２配信者の第２アバターとギフト５１４に関する動画２４０は、ギフト５１４を持つ第２アバターが表示される動画であってよい。またギフト５１４が指輪等の装飾品である場合、第２配信者の第２アバターとギフト５１４に関する動画２４０は、ギフト５１４を装着している第２アバターが表示される動画であってよい。第５所定アクションが実行されたと判定された場合に、第２配信者の第２アバターとギフト５１４に関する動画２４０が表示されるため、視聴者ＡはＭＲ空間を楽しむことができる。

第２配信者の画面には、視聴者Ａの画面と同様に第２配信者の第２アバターとギフト５１４に関する動画が表示されてよい。また第２配信者の画面には、第２配信者の第２アバターとギフト５１４に関する動画が表示されずに第２配信者の第２アバターのみが表示されてもよい。また第２配信者にギフトが付与された場合、視聴者Ａから第２配信者に対して贈られたギフト情報について、第２配信者の画面には、「視聴者Ａから、ケーキのギフトが届きました」などの通知が表示されるようにしてもよい。この場合、第２配信者は、第２配信者の第２アバターを継続して表示するか、第２配信者の第２アバターとギフト５１４に関する動画（例えば、ケーキを持った第２アバターの動画）を表示するかを選択可能であってもよい。

図２４は、図１に示す通信システムにおいて端末装置により第１所定アクションが実行されたと判定された場合に表示される第１視聴者動画１６００の一例を示す図である。本例において、第１所定距離は、図１６の第１視聴者動画８００における第１所定距離より大きい。したがって、図２４の第１視聴者動画１６００において第２配信者の第２アバター２２０は、図１６の第１視聴者動画８００と比べて小さく描画される。

本例において、第２配信者の第２アバター２２０の表示だけでなく、第１視聴者動画１６００において視聴者Ａが第１所定アクションを実行したと判定された場合に、第１視聴者動画１６００において第２配信者の第２アバター２２０が表示される位置と視聴者Ａの位置の距離（第１所定距離）に基づいて第２配信者の音声を再生する。例えば、第２配信者の音声の音量は、第１視聴者動画１６００において第１所定距離に基づいて決定される。具体的には、第１所定距離が大きいほど、再生される第２配信者の音声の音量は小さくなる。以上により、現実空間と同様に距離に応じて第２配信者の音声が変化するため、視聴者Ａは没入感を得ることができＭＲ空間を楽しむことが可能となる。

また第１所定距離が所定値以上の場合には、第２配信者の音声を再生しなくてもよい。第２配信者の音声を再生しない場合、第２配信者の音声データを取得する必要がなく通信の負荷を軽減することができる。また第１所定距離が所定値以上か否かにかかわらず、第１視聴者動画１６００内に第２配信者が表示されていない場合(例えば、視聴者Ａが、第２配信者の第２アバター位置とは違う方向を向いている場合)に、第２配信者の音声を再生しなくてもよい。また第１所定距離が所定値以上の場合でかつ第１視聴者動画１６００内に第２配信者が表示されていない場合に、第２配信者の音声を再生しなくてもよい。また第１視聴者動画１６００内に第２配信者が表示されているか否かにかかわらず、第１所定距離が所定値未満の場合に、第２配信者の音声を再生してもよい。

図２５は、お気に入りリスト５２０が表示される第１視聴者動画１７００の一例を示す図である。お気に入りリスト５２０は、視聴者Ａによって編集可能であってよい。お気に入りリスト５２０は、前述した図１４のホーム画面で編集可能であってもよく、動画視聴中に編集可能であってもよい。お気に入りリスト５２０の操作は、図１４のホーム画面と同様であってよい。本例では、お気に入りの配信者として「Ｕさん」、「Ｖさん」、「Ｗさん」が登録されている。

お気に入りリスト５２０は、「編集モード」に移行させるためのアイコン５３０を含むことができる。視聴者Ａがアイコン５３０を選択した場合には、視聴者Ａはお気に入りリスト５２０を編集可能である。アイコン５３０を選択することにより、各配信者を変更するアイコン５４０、各配信者を視聴するか否かを切り替えるアイコン５５０及び後述する設定画面５７０に移行するためのアイコン５６０が選択可能になる。

各配信者のアイコン５４０が選択された場合に、各配信者を変更可能である。図２５において各配信者のアイコン５４０には、「Ｕさん」、「Ｖさん」、「Ｗさん」が表示されている。例えば「Ｕさん」を選択した場合、「Ｕさん」、「Ｖさん」及び「Ｗさん」以外の特定の配信者に変更することが可能である。また「Ｕさん」を削除することも可能である（つまりこの場合、お気に入りリスト５２０には「Ｖさん」、「Ｗさん」のみが表示される。）。

各配信者のアイコン５５０が選択された場合に、視聴するか否かを変更可能である。図２５において各配信者のアイコン５５０には、それぞれ「視聴する」が表示されている。例えば、図２５において、「Ｖさん」のアイコン５５０を選択した場合に、「Ｖさん」のアイコン５５０の表示は「視聴しない」に変更される。この場合に所定アクションが実行されたと判定されても、「Ｖさん」は第１視聴者動画に表示されず、「Ｕさん」と「Ｗさん」のどちらかが表示される。この場合再度「Ｖさん」のアイコン５５０を選択した場合に、「Ｖさん」のアイコン５５０の表示は「視聴する」に変更される。以上のように、視聴者Ａは視聴する配信者を適宜変更することが可能である。

図２６は、図２５において各配信者のアイコン５６０を選択した場合に表示される第１視聴者動画１８００の一例を示す図である。第１視聴者動画１８００において、設定画面５７０が表示される。設定画面５７０において、配信者の所定アクションを設定することができる。図２６において、設定画面５７０では配信者を出願させる所定アクション（出現アクション）や配信者にギフトを付与する所定アクション（ギフトアクション）を設定することができる。本例において、設定画面５７０は、「Ｕさん」の設定画面である。設定画面５７０には、出現アクションを設定するアイコン５８０、出現アクションの優先度を設定するアイコン５９０、ギフトアクションを設定するアイコン６３０及び付与するギフトの内容を設定するアイコン６５０が表示される。

図２６において、アイコン５８０が選択されることにより、「Ｕさん」を表示させる出現アクションを設定可能である。本例において、「Ｕさん」を表示させる出現アクションとして「拍手」が設定されている。

図２６において、アイコン５９０が選択されることにより、出現アクションがされたと判定された場合の「Ｕさん」を表示させる優先度を設定可能である。本例において、「Ｕさん」を表示させる出現アクションとして「拍手」が設定されていて、その優先度は「１」である。「Ｕさん」、「Ｖさん」、「Ｗさん」全員の出現アクションが「拍手」であった場合、優先度の数が低いほど先に表示されてよい。つまり、視聴者Ａが「拍手」をしたと判定された場合に、優先度の数が低い「Ｕさん」が優先的に第１視聴者動画に表示される。

なお、優先度が同じ場合、優先度が同じ配信者の内一人をランダムで表示させてよい。例えば、第１所定アクションがそれぞれ同じで「Ｕさん」、「Ｖさん」の優先度が「１」、「Ｗさん」の優先度が「２」の場合を考える。この時、１回目の第１所定アクションが実行された場合、「Ｕさん」、「Ｖさん」のいずれかが表示される。２回目の第１所定アクションが実行された場合、「Ｕさん」、「Ｖさん」の内、１回目の第１所定アクションが実行された際に表示されなかった方のいずれかが表示される。そして３回目の第１所定アクションが実行された場合、「Ｗさん」が表示される。以上のように、視聴者Ａは視聴する配信者の表示順を適宜設定することが可能である。なお優先度が同じ場合、優先度が同じ配信者の中から図２５のお気に入りリスト５２０の上部に表示されている順にアバターが表示されてもよい（例えば、優先度が同じ場合に「Ｕさん」、「Ｖさん」、「Ｗさん」の順にアバターが表示される）。

図２６において、アイコン６３０が選択されることにより、ギフトを付与するギフトアクションを設定可能である。本例において、ギフトを付与するアクションとして「指ハート」が設定されている。

図２６において、アイコン６５０が選択されることにより、ギフトアクションが実行された場合に付与されるギフトを設定可能である。本例において、付与されるギフトとして「ハート」が設定されている。

以上アバターを使用する配信に関する実施形態について説明したが、本実施形態はアバターを使用する配信以外の態様にも適用できる。例えばプレイヤがゲーム（ＦＰＳゲームやＲＰＧゲーム等）中において、所定アクションを実施する（例えば、拍手をする）ことによりチームメイト（ゲームにおける仲間のプレイヤ）を呼び出すことが可能である。この場合、仮想空間内のオブジェクト、例えば敵キャラクタ、建物等の障害物の位置やサイズを考慮して、呼び出された側のチームメイトの初期位置や姿勢を調整してもよい。呼び出されたチームメイトも並行してゲームを行っている場合には、移動先の情報について予告通知を出してもよい（例えば、チームメイトの画面には「Ａさんに呼ばれているので移動します」、「移動先には建物があるので気をつけてください。」等のメッセージが表示される。）。

なお所定アクションが実施されてから一定期間経過後に、プレイヤの画面にチームメイトが呼び出されてよい。所定アクションが連続で実施されると、端末装置に負荷がかかるため、所定アクションが実施されてから一定期間経過後にプレイヤの画面にチームメイトが呼び出されることで、端末装置における負荷を軽減することができる。また、呼び出されたチームメイトのストレスも軽減可能である。なおプレイヤがゲーム中においてチームメイトを呼び出す実施形態は、所定アクションが実施された場合にチームメイトが呼び出される例に限定されず、コントローラやキーボードに所定の操作がされた場合にチームメイトが呼び出されてもよい。

上述した様々な実施形態は、矛盾又は不都合が生じない限りにおいて相互に組み合わせて用いることが可能なものである。本明細書に開示された発明の原理が適用され得る多くの可能な実施形態を考慮すれば、例示された様々な実施形態は好ましい様々な例に過ぎず、特許請求の範囲に係る発明の技術的範囲をこれらの好ましい様々な例に限定すると考えるべきではない、と理解されたい。実際には、特許請求の範囲に係る発明の技術的範囲は、添付した特許請求の範囲により定められる。したがって、特許請求の範囲に記載された発明の技術的範囲に属するすべてについて、本発明者らの発明として、特許の付与を請求する。

第１の態様に係るコンピュータプログラムは、「端末装置に搭載された少なくとも１つのプロセッサにより実行されることにより、前記端末装置のユーザである自ユーザの動作に基づいて動作し、前記自ユーザの視点から見える現実空間に関する第１動画を表示し、前記第１動画において前記自ユーザが第１所定アクションを実行したと判定された場合に、前記自ユーザとは異なる第１ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、ように前記少なくとも１つのプロセッサを機能させる」ことができる。

第２の態様によるコンピュータプログラムは、上述の第１の態様において、「前記第１所定アクションは、前記自ユーザが拍手をする動作である」ものである。

第３の態様によるコンピュータプログラムは、上述の第１の態様において、「前記第１動画において前記自ユーザが前記第１所定アクションを実行したと判定された場合に、前記第１動画において前記第２動画を前記自ユーザの位置から所定距離離れた位置に表示する」ものである。

第４の態様によるコンピュータプログラムは、上述の第１の態様において、「前記第１所定アクションは、前記自ユーザが前記第１動画に表示される第１対象に手を触れる動作である」ものである。

第５の態様によるコンピュータプログラムは、上述の第４の態様において、「前記第１動画において前記自ユーザが前記第１所定アクションを実行したと判定された場合に、前記第１動画において前記第２動画を前記第１対象の位置に表示する、ように前記少なくとも１つのプロセッサを機能させる」ものである。

第６の態様によるコンピュータプログラムは、上述の第１の態様において、「前記第１動画において前記第２動画が表示されている場合であって、かつ、前記第１動画において前記自ユーザが前記第１所定アクションを実行したと判定された場合に、前記自ユーザ及び前記第１ユーザとは異なる第２ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第３動画を、前記第１動画と組み合わせて表示する、ように前記少なくとも１つのプロセッサを機能させる」ものである。

第７の態様によるコンピュータプログラムは、上述の第６の態様において、「前記第３動画を、前記第１動画と組み合わせて表示する場合であって、かつ、前記第１動画において前記第２動画が表示される位置と前記第３動画が表示される位置の距離が所定値以下の場合に、前記第２動画を前記第１動画から削除する」ものである。

第８の態様によるコンピュータプログラムは、上述の第１の態様において、「前記第１ユーザは、前記自ユーザがあらかじめ設定したリスト、前記自ユーザの配信履歴に関するリスト及び前記自ユーザの視聴履歴に関するリストに基づいて決定される」ものである。

第９の態様によるコンピュータプログラムは、上述の第１の態様において、「前記第１動画において前記自ユーザが前記第１所定アクションを実行したと判定された場合に、前記第１動画において前記第２動画が表示される位置と前記自ユーザの位置の距離に基づいて前記第１ユーザの音声を再生する、ように前記少なくとも１つのプロセッサを機能させる」ものである。

第１０の態様によるコンピュータプログラムは、上述の第９の態様において、「前記音声の音量は、前記第１動画において前記第２動画が表示される位置と前記自ユーザの位置の距離に基づいて決定される、ように前記少なくとも１つのプロセッサを機能させる」ものである。

第１１の態様によるコンピュータプログラムは、上述の第９の態様において、「前記第２動画が表示される位置と前記自ユーザの位置の距離が所定値以上の場合に、前記第１ユーザの音声を再生しない、ように前記少なくとも１つのプロセッサを機能させる」ものである。

第１２の態様によるコンピュータプログラムは、上述の第１の態様において、「前記第２動画が表示されている場合であって、かつ、前記第１動画において前記自ユーザが前記第１所定アクションとは異なる第２所定アクションを実行したと判定された場合に、前記自ユーザが前記第１ユーザ提供するギフトに関するギフトオブジェクトのアニメーションに関する第４動画を、前記第１動画及び前記第２動画と組み合わせて表示する、又は、前記第１ユーザのアバターオブジェクトと前記ギフトオブジェクトを組み合わせたアニメーションに関する第５動画を、前記第１動画と組み合わせて表示する、ように前記少なくとも１つのプロセッサを機能させる」ものである。

第１３の態様によるコンピュータプログラムは、上述の第１の態様において、「前記第２動画を前記第１動画と組み合わせて表示する場合に、前記第１動画において前記第２動画を表示する位置に位置する第２対象に基づいて、前記第２動画の表示を変更するように前記少なくとも１つのプロセッサを機能させる」ものである。

第１４の態様によるコンピュータプログラムは、上記第１の態様から上記第１３の態様のいずれかにおいて、「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」ものである。

第１５の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行する端末装置に搭載された少なくとも１つのプロセッサにより実行される方法であって、前記少なくとも１つのプロセッサが、前記命令を実行することにより、前記端末装置のユーザである自ユーザの動作に基づいて動作し、前記自ユーザの視点から見える現実空間に関する第１動画を表示すること、及び、前記第１動画において前記自ユーザが所定アクションを実行したと判定された場合に、前記自ユーザとは異なる第１ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示すること、を含む」ことができる。

第１６の態様に係る方法は、上記第１５の態様において「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」構成を採ることができる。

第１７の態様に係るシステムは、「第１端末装置と、前記第１端末装置に通信回線を介して接続されるサーバ装置と、を含むシステムであって、前記サーバ装置は、前記第１端末装置の第１ユーザとは異なる第２ユーザの第２端末装置から受信した前記第２ユーザの動作に基づいて生成された第１動作データを、前記第１端末装置に送信する、ように構成され、前記第１端末装置は、前記第１動作データを前記サーバ装置から受信し、前記第１ユーザの動作に基づいて生成された第２動作データを取得し、前記第２動作データに基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示し、前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１動作データに基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、ように構成され」得る。

第１８の態様に係る方法は、「第１端末装置と、前記第１端末装置に通信回線を介して接続されるサーバ装置と、を含むシステムにより実行される方法であって、前記サーバ装置が、前記第１端末装置の第１ユーザとは異なる第２ユーザの第２端末装置から受信した前記第２ユーザの動作に基づいて生成された第１動作データを、前記第１端末装置に送信すること、前記第１端末装置が、前記第１動作データを前記サーバ装置から受信すること、前記第１端末装置が、前記第１ユーザの動作に基づいて生成された第２動作データを取得すること、前記第１端末装置が、前記第２動作データに基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示すること、及び、前記第１端末装置が、前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１動作データに基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示すること、を含む」ことができる。

第１９の態様に係るサーバ装置は、「少なくとも１つのプロセッサを具備するサーバ装置であって、前記少なくとも１つのプロセッサがコンピュータプログラムを含むウェブページを端末装置に送信するように構成され、前記コンピュータプログラムが、前記ウェブページを受信した前記端末装置により実行されることにより、前記端末装置の第１ユーザの動作に基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示し、前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１ユーザとは異なる第２ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、ように前記端末装置を機能させる」ことができる。

第２０の態様に係るサーバ装置は、上記第１９の態様において「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」構成を採ることができる。

第２１の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行するサーバ装置に搭載された少なくとも１つのプロセッサにより実行される方法であって、前記少なくとも１つのプロセッサが、前記命令を実行することにより、コンピュータプログラムを含むウェブページを端末装置に送信することを含み、前記コンピュータプログラムが、前記ウェブページを受信した前記端末装置により実行されることにより、前記端末装置の第１ユーザの動作に基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示し、前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１ユーザとは異なる第２ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、ように前記端末装置を機能させる」ことができる。

第２２の態様に係る方法は、上記第２１の態様において「前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む」構成を採ることができる。

１ 通信システム
２０、２０Ａ、２０Ｂ、２０Ｃ 端末装置
３０、３０Ａ、３０Ｂ、３０Ｃ サーバ装置

Claims (22)

1. 端末装置に搭載された少なくとも１つのプロセッサにより実行されることにより、
   前記端末装置のユーザである自ユーザの動作に基づいて動作し、前記自ユーザの視点から見える現実空間に関する第１動画を表示し、
   前記第１動画において前記自ユーザが第１所定アクションを実行したと判定された場合に、前記自ユーザとは異なる第１ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、
   ように前記少なくとも１つのプロセッサを機能させる、コンピュータプログラム。
2. 前記第１所定アクションは、前記自ユーザの手の動きに基づく動作である、請求項１に記載のコンピュータプログラム。
3. 前記第１動画において前記自ユーザが前記第１所定アクションを実行したと判定された場合に、前記第１動画において前記第２動画を前記自ユーザの位置から所定距離離れた位置に表示する、
   ように前記少なくとも１つのプロセッサを機能させる、請求項１に記載のコンピュータプログラム。
4. 前記第１所定アクションは、前記自ユーザが前記第１動画に表示される第１対象に手を触れる動作である、請求項１に記載のコンピュータプログラム。
5. 前記第１動画において前記自ユーザが前記第１所定アクションを実行したと判定された場合に、前記第１動画において前記第２動画を前記第１対象の位置に表示する、
   ように前記少なくとも１つのプロセッサを機能させる、請求項４に記載のコンピュータプログラム。
6. 前記第１動画において前記第２動画が表示されている場合であって、かつ、前記第１動画において前記自ユーザが前記第１所定アクションを実行したと判定された場合に、前記自ユーザ及び前記第１ユーザとは異なる第２ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第３動画を、前記第１動画と組み合わせて表示する、
   ように前記少なくとも１つのプロセッサを機能させる、請求項１に記載のコンピュータプログラム。
7. 前記第３動画を、前記第１動画と組み合わせて表示する場合であって、かつ、前記第１動画において前記第２動画が表示される位置と前記第３動画が表示される位置の距離が所定値以下の場合に、前記第２動画を前記第１動画から削除する、
   ように前記少なくとも１つのプロセッサを機能させる、請求項６に記載のコンピュータプログラム。
8. 前記第１ユーザは、前記自ユーザの視聴履歴に基づいて決定される、
   請求項１に記載のコンピュータプログラム。
9. 前記第１動画において前記自ユーザが前記第１所定アクションを実行したと判定された場合に、前記第１動画において前記第２動画が表示される位置と前記自ユーザの位置の距離に基づいて前記第１ユーザの音声を再生する、
   ように前記少なくとも１つのプロセッサを機能させる、請求項１に記載のコンピュータプログラム。
10. 前記音声の音量は、前記第１動画において前記第２動画が表示される位置と前記自ユーザの位置の距離に基づいて決定される、
    ように前記少なくとも１つのプロセッサを機能させる、請求項９に記載のコンピュータプログラム。
11. 前記第２動画が表示される位置と前記自ユーザの位置の距離が所定値以上の場合に、前記第１ユーザの音声を再生しない、
    ように前記少なくとも１つのプロセッサを機能させる、請求項９に記載のコンピュータプログラム。
12. 前記第２動画が表示されている場合であって、かつ、前記第１動画において前記自ユーザが前記第１所定アクションとは異なる第２所定アクションを実行したと判定された場合に、前記自ユーザが前記第１ユーザに提供するギフトに関するギフトオブジェクトのアニメーションに関する第４動画を、前記第１動画及び前記第２動画と組み合わせて表示する、又は、前記第１ユーザのアバターオブジェクトと前記ギフトオブジェクトを組み合わせたアニメーションに関する第５動画を、前記第１動画と組み合わせて表示する、
    ように前記少なくとも１つのプロセッサを機能させる、請求項１に記載のコンピュータプログラム。
13. 前記第２動画を前記第１動画と組み合わせて表示する場合に、前記第１動画において前記第２動画を表示する位置に位置する第２対象に基づいて、前記第２動画の表示を変更する
    ように前記少なくとも１つのプロセッサを機能させる、請求項１に記載のコンピュータプログラム。
14. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１から請求項１３のいずれか一項に記載のコンピュータプログラム。
15. コンピュータにより読み取り可能な命令を実行する端末装置に搭載された少なくとも１つのプロセッサにより実行される方法であって、
    前記少なくとも１つのプロセッサが、前記命令を実行することにより、
    前記端末装置のユーザである自ユーザの動作に基づいて動作し、前記自ユーザの視点から見える現実空間に関する第１動画を表示すること、及び、
    前記第１動画において前記自ユーザが所定アクションを実行したと判定された場合に、前記自ユーザとは異なる第１ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示すること、
    を含む方法。
16. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１５に記載の方法。
17. 第１端末装置と、前記第１端末装置に通信回線を介して接続されるサーバ装置と、を含むシステムであって、
    前記サーバ装置は、前記第１端末装置の第１ユーザとは異なる第２ユーザの第２端末装置から受信した前記第２ユーザの動作に基づいて生成された第１動作データを、前記第１端末装置に送信する、
    ように構成され、
    前記第１端末装置は、
    前記第１動作データを前記サーバ装置から受信し、
    前記第１ユーザの動作に基づいて生成された第２動作データを取得し、
    前記第２動作データに基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示し、
    前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１動作データに基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、
    ように構成される、システム。
18. 第１端末装置と、前記第１端末装置に通信回線を介して接続されるサーバ装置と、を含むシステムにより実行される方法であって、
    前記サーバ装置が、前記第１端末装置の第１ユーザとは異なる第２ユーザの第２端末装置から受信した前記第２ユーザの動作に基づいて生成された第１動作データを、前記第１端末装置に送信すること、
    前記第１端末装置が、前記第１動作データを前記サーバ装置から受信すること、
    前記第１端末装置が、前記第１ユーザの動作に基づいて生成された第２動作データを取得すること、
    前記第１端末装置が、前記第２動作データに基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示すること、及び、
    前記第１端末装置が、前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１動作データに基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示すること、
    を含む方法。
19. 少なくとも１つのプロセッサを具備するサーバ装置であって、
    前記少なくとも１つのプロセッサがコンピュータプログラムを含むウェブページを端末装置に送信するように構成され、
    前記コンピュータプログラムが、
    前記ウェブページを受信した前記端末装置により実行されることにより、
    前記端末装置の第１ユーザの動作に基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示し、
    前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１ユーザとは異なる第２ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、
    ように前記端末装置を機能させる、サーバ装置。
20. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１９に記載のサーバ装置。
21. コンピュータにより読み取り可能な命令を実行するサーバ装置に搭載された少なくとも１つのプロセッサにより実行される方法であって、
    前記少なくとも１つのプロセッサが、前記命令を実行することにより、
    コンピュータプログラムを含むウェブページを端末装置に送信することを含み、
    前記コンピュータプログラムが、
    前記ウェブページを受信した前記端末装置により実行されることにより、
    前記端末装置の第１ユーザの動作に基づいて動作し、前記第１ユーザの視点から見える現実空間に関する第１動画を表示し、
    前記第１動画において前記第１ユーザが所定アクションを実行したと判定された場合に、前記第１ユーザとは異なる第２ユーザの動作に基づくアバターオブジェクトのアニメーションに関する第２動画を、前記第１動画と組み合わせて表示する、
    ように前記端末装置を機能させる、方法。
22. 前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項２１に記載の方法。