JP7356662B2 - コンピュータプログラム、及び方法 - Google Patents

Description

本件出願に開示された技術は、コンピュータプログラム、及び方法に関する。

近年、配信者が演じるアバターを用いた技術が発展している。この種の技術においては、配信サービスを介して、配信者が演じるアバターを、視聴者が視聴可能なようにされている。

また、アバターを用いたサービスに関連して、アバターオブジェクトの表情や動作を演者等の動作に基づいて制御する技術を利用したサービスが知られている。例えば、特許文献１で開示される技術は、アバターを通常操作する演者に基づく操作の技術である。また、例えば、非特許文献１で開示されるサービスでは、演者は、スマートフォンの画面に対する複数のフリック方向の各々に対して、用意された多数の表情や動作のうちのいずれかの表情又は動作を予め割り当てておき、所望する表情又は動作に対応する方向に沿って演者がスマートフォンの画面をフリックすることにより、その動画に表示されるアバターオブジェクトにその表情又は動作を表現させることができる。

特開２０１３－１５６９８５号公報

"カスタムキャスト"、［online］、Custom Cast Inc.、［２０１９年１２月１０日検索］、インターネット（URL: https://customcast.jp/）

しかしながら、上記のサービスでは、配信者がアバターに反映させる表情や動作などのモーションに限りがあるため、配信者アバターの表現のバリエーションが不足し得る。

なお、上記非特許文献１は、引用によりその全体が本明細書に組み入れられる。

本件出願において開示された幾つかの実施形態は、視聴者とのコミュニケーションの機会を増加可能な、コンピュータプログラム、及び方法を提供する。

一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、
ものである。

一態様によるサーバ装置は、一又は複数のプロセッサを具備し、前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、ものである。

一態様による方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、ものである。

一態様による視聴者端末装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、ものである。

一態様による配信者端末は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、ものである。

図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である。 図３は、一実施形態に係るシステムの機能の一例を模式的に示すブロック図である。 図４は、一実施形態に係るシステムにおいて表示される画面の一例である。 図５は、一実施形態に係るシステムにおけるアバターの動作等の一例である。 図６は、一実施形態に係るシステムが処理するフローの一例である。 図７は、一実施形態に係るシステムが処理するフローの一例である。 図８は、一実施形態に係るシステムが処理するフローの一例である。

以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるものの、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプログラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得ることができるように組み合わされたものであればよい。

１．システムの例
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示すように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には、サーバ装置２０の例として、３つのサーバ装置２０Ａ～２０Ｃが例示され、端末装置３０の例として、３つの端末装置３０Ａ～３０Ｃが例示されているが、サーバ装置２０として、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。

また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるものであってもよい。また、システムの所有者と管理者は異なってもよい。

通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット、イーサネット（登録商標）、及び／又はこれらの組み合わせ等であってよく、また、これらに限定されない。通信網１０においては、本願書類で開示された種々のデータが通信されてよい。

サーバ装置２０は、インストールされた特定のアプリケーションを実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、という動作等を実行できてよい。

或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、という動作等を実行できてよい。

後述する配信者端末が、演者の身体に関するデータ及び演者の身体の複数の部分のモーションデータを用いたアバターオブジェクトの動画を生成してこれをサーバ装置に送信し、サーバ装置が配信者端末から取得した動画を、通信網１０を介して１又はそれ以上の後述する視聴者端末に配信してもよい。また、かかる構成に代えて、配信者端末が、演者の身体に関するデータ及び演者の身体の複数の部分のモーションデータをサーバ装置に送信し、サーバ装置が配信者端末から受信したデータにしたがって、演者に対応するアバターオブジェクトの動きを示す動画を生成し、かかる動画を、通信網１０を介して１又はそれ以上の視聴者端末に配信するレンダリング方式の構成を採用してもよい。或いはまた、配信者端末が、演者の身体に関するデータ及び演者の身体の複数の部分のモーションデータを、サーバ装置に送信し、サーバ装置がかかるデータを、通信網１０を介して１又はそれ以上の視聴者端末に送信し、視聴者端末がかかる受信したデータにしたがって、演者に対応するアバターオブジェクトの動きを示す動画を生成するレンダリング方式の構成を採用してもよい。

端末装置３０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等であってよく、これらに限定されない。

２．各装置のハードウェア構成
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。

２－１．サーバ装置２０のハードウェア構成
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３０に関連して記載されたものである。）

図２に示すように、サーバ装置２０は、主に、演算装置２１と、主記憶装置２２と、入出力インタフェイス装置２３を備えることができる。サーバ装置２０は、更に、入力装置２４と、補助出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されていてよい。

演算装置２１は、主記憶装置２２に記憶されている命令及びデータを用いて演算を行い、その演算の結果を主記憶装置２２に記憶させるものである。さらに、演算装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。サーバ装置２０は、１以上の演算装置２１を含んでよい。演算装置２１は、１又はそれ以上の、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでよい。

主記憶装置２２は、記憶機能を有し、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置２０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、演算装置２１の演算結果を記憶するものである。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。

補助記憶装置２５は、記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶してよく、演算装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）は入出力インタフェイス装置２３を介して主記憶装置２２にロードされてよい。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置、ファイルサーバ等であってよく、これらに限定されない。

入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等であってよい。

出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができてよい。また、入力装置２４と出力装置２６とが一体化されたものであってもよい。

このようなハードウェア構成にあっては、演算装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置２０及び他の端末装置３０等）との間で様々な情報の送受信を行うことができてよい。

サーバ装置２０がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、かかる動作等は、ユーザーが、入力装置２４又は後述する端末装置３０に係る入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置２１上で実行されている場合にはユーザーの利用するシステムとしてのサーバ装置２０の出力装置２６によって表示されてよく、又はユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示させる構成であってよい。

２－２．端末装置３０のハードウェア構成
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。

図２に示すように、各端末装置３０は、主に、演算装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

演算装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各サーバ装置２０に含まれる、演算装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一であってもよいし、異なるものであってもよい。また、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置３４及び出力装置３６については、以下で詳述する。

このようなハードウェア構成にあっては、演算装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各サーバ装置２０等）との間で様々な情報の送受信を行うことができる。

端末装置３０がかかる構成を備え、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、インストールされたウェブブラウザを実行することにより、サーバ装置２０からウェブページを受信及び表示して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置３１上で実行されている場合にはユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示する構成であってよい。

端末装置は、本願書類において、「配信者端末」と「視聴者端末」の２種類の端末装置があってよい。これらは端末の役割に対して付与された名称であってよく、一の端末装置が、視聴者端末であることもあれば、配信者端末であることもあり、また、視聴者端末であると同時に配信者端末であってもよい。また、視聴者端末は配信者端末と異なってよい。配信者端末は、配信されるものにアバターなどの被写体として登場する者である配信者が利用する端末であってよい。他方、視聴者端末は、主に、配信されているものを視聴する者である視聴者が利用する端末であってよい。なお、視聴者も、アバターなどの被写体に対してギフトを提供するギフティング行為によって、配信されるものにギフトが登場するような形で、視聴者が配信されるものに一定の影響をあたえてもよい。同様に、視聴者は、音声、コメント、等の形で、配信されるものに、一定の影響を与えてよい。配信されるものは、動画であってもよいし、映像であってもよいし、アニメーションであってもよく、これらの一部に配信者が演じるアバターなどの被写体が登場する者であればよい。なお、上述の説明は、本願発明の一実施形態が適用される例にすぎず、かかる前提のない被写体が登場する仮想空間においても、本願発明に係る各実施形態は適用されてよい。なお、本願書類において、アニメーションは、仮想現実であってもよいし、拡張現実であってもよい。

視聴者端末は、上述のように、音声の入力、コメントの入力、ギフティングなどが可能に構成されてよい。例えば、視聴者端末は、入力装置３４として、コメントを入力可能であり、テキスト情報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、視聴者端末は、演算装置３４により、一定のコメントを生成する機能を有してもよい。これらの取得されたコメントやギフトは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。また、これらのコメントやギフトは、配信される動画の生成に利用されてよい。

なお、本願発明に係るコメントは、視聴者端末によって入力されるコメント以外に、システムが自動的に生成するものであってよい。かかるコメントは、利用者端末に向けて送信され、利用者端末において表示されてよい。

また、端末は、入力装置３４として、音を取得可能なマイクを含んでよい。なお、人の音声は、入力装置３４としてのマイクによって取得され、音として扱ってもよいし、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、利用者端末は、演算装置３１によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。

他方、配信者端末は、入力装置３４として、人の動きを検知可能なモーションセンサーを含んでよい。モーションセンサーは、配信者の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうるが、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるものであってよい。かかるセンサーによって、配信者の表情やポーズをトラッキングし、情報として生成可能であってよい。モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサなどを有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。

また、配信者端末は、入力装置３４として、動画を撮像可能なカメラを含んでよい。カメラは、配信者の、頭、顔面、目、身体の一部、全身、などを撮像してよい。カメラが、頭や顔面を撮像する場合顔の方向を検知することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。これらの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。

また、視聴者端末及び配信者端末における出力装置３６は、表示装置、音発生装置であってよい。表示装置は、表示可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイ、ヘッドマウントディスプレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、スピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置３６で出力される情報は、演算装置３１において生成された情報であってもよいし、通信網１０から受信した情報であってもよい。

なお、配信者端末は、演じる演者についての情報を取得するセンサを専用に備えるスタジオの装置であってもよい。この場合、演者の情報をより精度よく情報を取得できる利点がある。

また、配信者は、アバターを演じる演者を含んでよい。

３．各装置の機能
次に、サーバ装置２０及び端末装置３０の各々が有する機能の一例について、図３を参考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図である。図３に示すように、一例のシステムは、入力情報を取得する取得部４１と、入力情報を用いて、アバターの動作又は表情を変更するための情報を生成する条件適用部４２と、を有してよい。

２．１．取得部４１
取得部は、後述する所定の条件の充足の可否を判断するのに使用できる情報を取得する機能を有する。

取得部の取得する情報は、一又は複数の視聴者端末からの入力情報を含む。入力情報には、動作又は表情を変更させるアバターを指定する情報が含まれてもよいし、かかるアバターを指定する情報が含まれていなくてもよい。なお、入力情報は、一又は複数の視聴者端末において入力された情報そのものであってもよいし、そのものでなくともよい。入力情報は、一又は複数の視聴者端末において入力された情報に基づいた情報であってよい。例えば、取得部の取得する入力情報は、視聴者端末において入力された情報が、所定の加工がされた情報であってよい。

また、取得部の取得する情報は、アバターの動作又は表情の種類を表す入力に基づいてよい。かかるアバターの動作又は表情の種類を表す入力は、例えば、視聴者端末において視聴者が利用する端末に備えられた入力手段で入力されたものであってよい。かかる視聴者が利用する端末に備えられた入力手段は、端末装置自体に物理的に備えられたものであってもよいし、端末装置内のタッチスクリーンにおいて表示されて備えられるものであってもよい。また、入力手段は、一又は複数の情報の入力を感知できるものであれば、種々のものでよく、タッチスクリーン上の入力手段であれば、ＧＵＩで規定される種々の種類のものであってよい。かかる入力手段は、アバターの動作又は表情の種類を表すものとして規定されていてよい。そのため、視聴者は、かかる入力手段に対して、アバターの動作又は表情を変化させる目的で入力操作することができる。かかる入力手段に対する視聴者の入力操作に対応して、入力されたことが感知されてよい。また、取得部の取得する入力情報は、音声情報や振動情報に基づいてもよい。音声情報は、視聴者端末を利用する視聴者からの音声であってよい。また、振動情報は、端末を振ったときの加速度であってよい。取得部は、入力手段に対応して生じた情報そのものを取得してもよいし、入力手段に対応して生じた情報が、加工された上で、取得してもよい。後者としては、例えば、視聴者端末において特定のＩＤが割り振られた入力手段の情報を感知したことに対し、視聴者端末と異なる情報処理装置であるサーバにおいて、ネットワークを介して、かかる特定のＩＤに対応する情報としての特定のＩＤ等を、取得部は取得してよい。また、かかる視聴者端末において入力手段によって特定された特定のＩＤやネットワークを介して取得した特定のＩＤは、アバターに係る所定の動作等として設定したい特定のＩＤであってもよい。なお、後述のとおり、取得部は、一の視聴者端末から、一又は複数の入力情報を取得してよい。また、取得部は、複数の視聴者端末から、各々、一又は複数の入力情報を取得してよい。

また、取得部の取得する情報は、前記視聴者端末に入力されたコメントに基づいてよい。コメントは、視聴者端末において、英数字などを含む文字によって入力されてよい。入力情報がコメントに基づくとは、コメント内の具体的な表現自体が入力情報となる場合と、その内容に基づいて生成された情報が入力情報になる場合とを含んでよい。例えば、視聴者端末において、視聴者が、肉という文字をコメント内に含ませた場合、かかる肉という字自体又は肉という字と関連付けられる情報が、入力情報として、取得部に取得されてよい。

また、取得部の取得する情報は、前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報に基づいてよい。この前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報は、アバターの動作等に関する指示以外の用途と共用の入力手段であってよく、例えば、いいねボタンによるいいね、または、フォローボタンのフォロー、に基づく場合を含んでよい。ここで、いいねボタンは、本来的には、いいね、の入力指示であるが、いいね、の入力指示であると同時に、アバターの動作等の指示情報となってよい。この場合、視聴者は、いいね、という肯定的表現と同時に、アバターの動作等の指示を容易に可能である利点がある。同様に、フォローボタンにおいても、本来的には、フォロー、の入力指示であるが、フォロー、の入力指示であると同時に、アバターの動作等の指示情報となってよい。また、前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報としては、ギフトを提供する指示であってもよい。この場合、ギフトの中身に対応した、アバターの動作等が決定されていてよい。例えば、ボールのギフトを（一例として、配信動画において落下するように表示される）、配信者に係るアバターがキャッチングする動作をさせてもよい。

図４は、アバターの動作又は表情を変更するために、一又は複数の視聴者端末において、表示される態様の一例である。本図は、視聴者端末としての携帯端末上のディスプレイ全体に表示されている一例を示す。このように、アバターの動作又は表情を変更する一又は複数の候補が、一又は複数の視聴者端末において表示され、視聴者がこれらの一又は複数を選択することによって、これらの選択に基づいて、取得部は、一又は複数の入力情報を取得してよい。かかる選択に基づいて、アバターは、所定の期間、選択されたものに対応する動作等をしてよい。

なお、取得部が情報を取得する元となる情報処理装置は、取得部の機能を有する情報処理装置と同じであってもよいし、異なってもよい。また、本願書類において、取得という用語は、情報を、他の情報処理装置から受信する意味の上位概念であってよく、また、情報を記憶装置から情報を読み取る意味の上位概念であってよく、また、他のプログラムから記憶装置を介して情報を受け取る意味の上位概念であってよい。

２．２．判定部４２
判定部は、前記取得した入力情報が所定の条件を充足するか否かを判定する機能を有する。判定部は、後述する所定の条件を基準として、判定してよい。判定基準は、種々のものであってよい。例えば、判定基準は、後述する所定の条件を規定するものであってもよい。また、判定基準として、入力情報が利用されてもよいし、端末装置が利用されてもよい。また、入力情報であれば、入力情報の回数や入力情報の種類が挙げられる。また、端末装置は、配信者によって指定された視聴者端末であるか、などであってよい。

判定基準は、例えば、所定の基準に基づき、複数の前記視聴者端末から特定の前記視聴端末を特定し、複数の前記視聴者端末から取得した前記入力情報から、特定した前記視聴者端末からの前記入力情報を用いてよい。ここで、所定の基準は、配信者端末から取得した情報に基づいてよい。かかる基準は、たとえば、所定の数の視聴者端末であること、配信者端末から指定された視聴者端末であること、配信者端末から指定された条件、などであってよい。基準が所定の数の視聴者端末である場合は、所定の数以下の視聴者端末であれば全ての視聴者端末からの入力情報を受け付けてよいが、所定の数を超える視聴者端末であれば例えば、配信者のフォロワーに係る視聴者端末のみからの入力情報を受け付けてよい。また、かかる条件は、配信に対する視聴者端末の視聴時間や視聴回数などの視聴に係る情報であってもよい。

また、判定基準は、例えば、複数の視聴者端末から、所定の条件を満たす前記視聴者端末を特定するものであってもよい。ここで、複数の視聴者端末は、所定の条件を満たす視聴者端末として特定される候補であることから、入力情報の受付候補となる複数の端末装置であってよい。また、所定の条件は、例えば、入力情報を送信可能な視聴者端末を選定する条件であってよい。また、所定の条件は、配信者が選定した視聴者端末であってよい。なお、特定した前記視聴者端末に、前記入力情報を受け付け可能に設定する第１設定情報を送信してよい。第１設定情報に基づいた設定が視聴者端末において実行されることで、視聴者端末において入力情報が入力できるようになってもよい（後述の第２～第４設定情報も同様である）。なお、第１設定情報は、例えば、かかる視聴者端末において、入力情報を設定可能であること示す情報であってよい。かかる情報を取得した視聴者端末においては、対応して、アバターの動作等を変更するための指示を選定するための表示などがされてよい。

また、判定基準は、視聴者端末における判定に利用されてもよく、そのために、入力情報を受け付け可能にする設定を実行するかの判断基準を示す情報は、前記視聴者端末に送信されてよい。

２．３．条件適用部４３
条件適用部は、前記入力情報が前記所定の条件を充足する場合、配信者の動作又は表情に基づくアバターの動作又は表情を、前記入力情報に応じて、変更するための情報を生成する、機能を有する。

ここで、配信者の動作又は表情に基づくアバターの動作又は表情を、前記入力情報に応じて、変更するための情報を生成するとは、かかる所定の条件が充足された場合において、前記配信者に係る表情に基づいて生成されていた前記配信者に係るアバターの表情を、前記所定の条件に対応する所定の表情に変更するための情報のみを生成してもよい。また、配信者の動作又は表情に基づくアバターの動作又は表情を、前記入力情報に応じて、変更するための情報を生成するとは、前記配信者に係る動作に基づいて生成されていた前記配信者に係るアバターの動作を、前記所定の条件に対応する所定の動作に変更するための情報のみを生成してもよい。また、配信者の動作又は表情に基づくアバターの動作又は表情を、前記入力情報に応じて、変更するための情報を生成するとは、前記配信者に係る表情及び動作に基づいて各々生成されていた前記配信者に係るアバターの表情及び動作を、前記所定の条件に対応する所定の表情及び動作に変更するための情報を生成してもよい。なお、本願書類において、生成される、アバターの動作又は表情を変更するための情報を、簡易的に、アバターの動作等情報、ということがある。また、動作及び／又は表情を、動作等、ということもある。かかるアバターの動作等情報は、後述のとおり、一又は複数のパラメータであってもよいし、一又は複数のＩＤなどであってもよい。

また、アバターの動作等情報は、予め定められた動作のパラメータであってよい。例えば、アバターの動作として、ピースのサインの動作の場合を適用する場合、配信者がピースを行った場合のモーションデータが生成されてよい。かかる配信者がピースを行った場合のモーションデータが、アバターに適用された場合に、対応して、アバターもピースを行うためである。なお、上記では、アバターの動作等情報を、配信者が動作等を行った場合のモーションデータとして説明したが、アバターの動作等情報は、人が行うことが難しい又は不可能なモーションデータであってもよい。アバターの動作等情報は、例えば、人の関節であれば困難又は不可能な動きの関節の動作であったり、人であれば困難又は不可能な表情であってもよい。人では通常困難又は不可能な動作等がアバターによって動作される場合、より視聴者の興味を引くことができる利点がある。

また、アバターの動作等情報は、予め定められた表情のパラメータであってよい。ここで、予め定められた表情のパラメータとは、顔の各部位の動きに影響を与える複数のパラメータを示し、かかる複数のパラメータを各々所定の値に設定することにより、一の表情を示すものであってよい。かかる一又は複数のパラメータは、顔の各部位の動きに影響を与えるパラメータであればよく、各パラメータが、顔の特定の部位についてのものでもよいし、顔全体（又は顔の一部）についてのものであるがパラメータ毎に顔全体（又は顔の一部）の形状が異なるものでもよい。後者は、同じ面積であるが形状が異なるものを複数用意して、それらの一部又は複数の合成によって、一の表情を表現する技術である。後者の例としては、例えば、ブレンドシェイプが挙げられ、かかる技術では、予め形状が異なる複数の顔全体の形状のものを用意しそれらの複数の形状の合成によって一の表情を生成するものである。なお、本技術においては、通常の顔の要素に加えて、予め所定の形状のものを用意しておくことにより、特殊な表情をさせてもよい。例えば、予め顔の縦線を示す形状を用意しておく場合には、かかる顔の縦線の演出が可能となり、予め目がバツの演出の要素を用意しておく場合には、かかる目がバツの演出が可能となる。この場合、パラメータが予め設定されることから、配信者の表情等を問わず、再現される表情等となるため、表情等を示す適切なパラメータが選択される場合には常に分かりやすい表情等を再現できる利点がある。なお、パラメータの例としては、目や口の開口度を示すパラメータ（例えば、０％から１００％）を示す数値を含んでもよいし、口の両端の左右位置や上下位置を示すパラメータを含んでもよいし、眉の上下位置を示すパラメータを含んでもよい。また、この場合においても、アバターに応じて、所定の表情等が異なるよう設定されてもよい。すなわち、アバターＡとアバターＢについて、同一の所定の条件が充足された場合において適用される所定の表情等が、アバターＡとアバターＢにおいて、異なってもよい。この場合において、個々のアバターに対して設定されてもよいし、アバターの種類に応じて、設定されてもよい。例えば、複数のアバターが登場するコラボ配信の場合において、アバターＡがホストとなり、アバターＢがゲストとなってもよいし、アバターＡとアバターＢとが両方ともゲストになってもよい（アバターＡ、Ｂ以外のアバターがホストとなってもよい）。この場合、例えば、これらの一又は複数のホストやゲストが仮想空間内で写真を撮影する際に、各々のアバターについて、同一の所定の表情等が設定されてもよいし、各々のアバターについて異なる所定の表情等が設定されてもよい。アバターＡ、Ｂが両方ともゲストである場合、一方のアバターは３Ｄモデルで表示される代わりに、２Ｄモデル（例えば板状ポリゴン）で表示されてもよい（この場合、ホストとなる別のアバターは３Ｄモデルで表示されてよい）。そして、板状ポリゴン（板ポリ）となっているアバターの表情が、視聴者端末からの入力情報に応じて変更されてもよい。

また、アバターの動作等情報は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正されたパラメータに基づく表情であってよい。例えば、配信者が入力情報に対して、驚いた表情をするとする。このとき、通常であれば、配信者の表情の検知に対応してアバターの表情が一又は複数のパラメータによって驚きに対応する表情に設定される。これに対し、かかる一又は複数のパラメータに対し、補正されたパラメータは、所定の条件に対応する所定の表情として驚きに係る複数のパラメータの値を所定の値分増加させたり減少させられたものであってよい。これにより、より驚きの表情を強調できる利点がある。上述の技術が所定の表情として一又は複数のパラメータが決定される点において絶対値的なものであるのに対し、本技術は、いわば、現在の配信者の表情から得られた情報に対する相対的なパラメータを用いるものであってよい。そのため、同一の配信者が演じる同一のアバターが、同一の所定の条件が適用された場合においても、かかる配信者自身がその時点で有している表情等に基づく表情等のパラメータは同じ場合もあれば、異なる可能性もあることから、かかる異なりうるパラメータに応じた表情等が、所定の表情等となる場合がある。そのため、より表情等のバリエーションをもたせることができる可能性がある。

また、アバターの動作等情報は、配信者の動作に基づく動作のモーションデータを所定のルールに基づいて補正されたモーションデータに基づくアバターの動作であってよい。動作についても、上述の表情と同様の技術が適用されてよい。

また、アバターの動作等情報は、予め定められた形状又は動きの設定により表示される動作又は表情であってもよい。かかる予め定められた形状又は動きの設定とは、動作であれば特定の形状が設定されて表示されるものであり、例えば、体全体が亀の甲羅状態に変化することがあげられ、表情であれば、お面のように予め定められた形状そのものの表情が表示されるものであってよい。

また、アバターの動作等情報は、動作等を構成する全体の個所についてのパラメータであってもよいし、動作等を構成する箇所の全体の一部のパラメータであってもよい。例えば、アバターの動作等情報は、アバターの一又は複数の所定部位についての変更するための情報を含んでよい。また、所定部位は、頭部、頭部を除く上半身、及び／又は、下半身、を含んでよい。そして、第１入力情報に基づくアバターの動作等情報と、第２入力情報に基づくアバターの動作等情報とは、前記頭部、前記頭部を除く上半身、及び、前記下半身、の一部又は全部が異なってよい。例えば、アバターの動作等情報は、アバターの体全体についてのパラメータであってもよいし、アバターの上半身のみについてのパラメータであってもよいし、アバターの下半身のみについてのパラメータであってもよいし、アバターの頭部のみについてのパラメータであってもよいし、これらの一部又は組み合わせであってもよい。例えば、視聴者端末からの入力情報に基づいて、上半身のみピースのサインを行う動作をしてもよいし、足だけが逃げる動作をしてもよい。アバターの複数の所定部位の動作は、互いに協調したものであってもよい。例えば、右腕を前に出した場合に、左足を前に出す、ように互いに協調した動作をしてもよい。特に、後述するように、複数の視聴者端末からの入力がされている場合において、アバターの第１所定部位についての動作が第１視聴者端末に基づく第１入力情報に基づき、アバターの第２所定部位についての動作が第２視聴者端末に基づく第２入力情報に基づき、第１視聴者端末と第２視聴者端末とが異なる場合、第１視聴者端末と第２視聴者端末とが協調して入力情報を行うことにより、アバターが協調した動作を行う、など視聴者同士の連携を誘いコミュニケーションが活発化できる利点がある。また、特に、かかる状況において、第１入力情報と第２入力情報とが、所定の期間内に取得されるという条件が設けられている場合、第１視聴者と第２視聴者とは、より互いに協調することが求められ、タイミングも含めて視聴者同士の連携を誘い、コミュニケーションが活発化できる利点がある。

他方で、アバターの複数の所定部位の動作は、互いに協調しない動作をしてもよい。例えば、上半身は、追いかけるような動作をしつつ、下半身は逃げるような動作をしてもよい。このような場合、アバターの動作を喜劇的に動作できる利点がある。特に、後述するように、複数の視聴者端末からの入力がされている場合において、アバターの第１所定部位についての動作が第１視聴者端末に基づく第１入力情報に基づき、アバターの第２所定部位についての動作が第２視聴者端末に基づく第２入力情報に基づき、第１視聴者端末と第２視聴者端末とが異なる場合、第１視聴者端末と第２視聴者端末とが協調して入力情報を行うことにより、アバターが協調しない動作を行う、など視聴者同士の連携を誘いコミュニケーションが活発化できる利点がある。また、特に、かかる状況において、第１入力情報と第２入力情報とが、所定の期間内に取得されるという条件が設けられている場合、第１視聴者と第２視聴者とは、より互いに協調することが求められ、タイミングも含めて視聴者同士の連携を誘い、コミュニケーションが活発化できる利点がある。

上記においては、アバターの動作について説明したが、アバターの表情についても、同様であってよい。すなわち、アバターの表情を構成する一又は複数の所定部位について、表情の情報が生成されてよい。また、かかる表情の情報が生成される入力情報は、上述のように複数の異なる視聴者端末からの入力情報に基づいてよい。また、かかる複数の入力情報は、所定の期間内に取得されるという条件が設けられてよい。例えば、口についてのパラメータのみに作用し、口以外の個所についてのパラメータは、通常の配信者の表情に連動するパラメータであって、配信者端末から配信者の表情の動きに対応した情報に基づくパラメータであってよい。また、アバターの動作等情報は、アバターの外観を含んでもよい。例えば、アバターの動作等情報は、アバターの一部又は全部が黒焦げになる演出が可能な情報を含んでよい。

図５は、条件適用部において生成されるアバターの動作等情報の一例である。本例においては、分かりやすいように、所定部位と動作等を区別して例示してあるが、生成されるアバターの動作等情報のデータとしては、動作等が影響を受ける箇所についてのデータが生成されればよい。

条件適用部は、一又は複数の視聴者端末から取得した入力情報を用いて、所定の条件を充足するかどうかを判定する機能を有してよい。また、所定の条件が充足すると判定した場合に、適用される、アバターの動作又は表情を変更するための情報を有してよい。

条件適用部は、所定の条件として、種々の入力情報、を用いてよい。

例えば、条件適用部は、視聴者端末から、配信者に係るアバターを、画面右方向へ所定の３単位移動させる指示を受けてよく、かかる入力情報が条件を充足したと判定された場合において、アバターの動作を、画面右方向へ所定の３単位移動させてよい。この場合、アバターは、配信者の動きとは関係なく、かかる移動させる指示を出した視聴者端末からの指示に基づいて動作することにより、視聴者とのコミュニケーションが活発化できる利点がある。例えば、かかる状況が画面右方向におばけキャラがいる場合、配信者としては、おばけキャラのいる方向等は逆の方向の左方向に行きたいと思ったにもかかわらず、視聴者の指示により、おばけキャラのいる方向である右方向に移動する、などが演出されることになる。

なお、上述の例のように、条件適用部における所定の条件の判定とは、取得した入力情報が、配信者の動作又は表情に基づくアバターの動作又は表情を変更するための情報を生成するためのものであるかを判定するものを含んでよい。また、かかる判定は、後述のとおり、取得した入力情報を用いて、アバターの動作又は表情を変更するための情報を生成するかどうかを判定するものであってもよい。

また、条件適用部は、所定の条件として、複数の視聴者端末からの入力情報を用いてよい。例えば、条件適用部が利用する入力情報は、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報と、を含んでよい。例えば、第１入力情報が、対象とするアバターを、画面右方向に移動させる動作の指示を出し、第２入力情報が、同一の対象とするアバターを、画面前方方向に移動させる動作の指示を出した場合、条件適用部は、かかる第１入力情報と第２入力情報と、の両方の入力情報が所定の条件を充足すると判定した場合において、これらの両方の情報を用いて、かかる対象とするアバターを、画面右前方方向へ移動させる動作をさせてもよい。また、この場合において、第１入力情報が、対象とするアバターを、画面右方向に所定の３単位移動させる動作の指示であり、第２入力情報が、対象とするアバターを、画面前方方向に所定の４単位移動させる動作の指示の場合、これらの距離を含んだ両方の指示を用いて、アバターを、画面右前方方向に所定の５単位移動させる動作をさせてよい。

なお、条件適用部は、第１入力情報と、第２入力情報と、を上述のように両方の入力情報を用いる所定の条件として、所定の期間内においてかかる複数の入力情報を取得したことを用いてよい。条件適用部が入力情報の取得の時間的条件を設けることにより、視聴者端末からの入力情報の取得に対して、機動的に対応できる利点がある。

なお、条件適用部は、第１入力情報と、第２入力情報と、の組み合わせを所定の条件として、アバターの動作等を変更するための情報を生成してよい。例えば、第１視聴者端末から、第１入力情報と第２入力情報とを取得可能である場合において、第１入力情報と、第２入力情報と、を個別に取得した場合、アバターの動作等を、夫々、α、βとする。なお、この場合、第１入力情報を取得した後、所定の期間の経過後に、第２入力情報を取得した場合であってよい。このとき、第１入力情報と第２入力情報とをこれらの順に所定の期間内に取得した場合に、アバターの動作等として、α、β、と個別に対応するものが順に生成されてもよいし、α、β、とは異なるγが生成されてもよい。また、逆の順序として、第２入力情報と第１入力情報とをこれらの順に所定の期間内に取得した場合において、同様に、アバターの動作等として、β、α、と個別に対応するものが順に生成されてもよいし、α、β、とは異なるγが生成されてもよいし、第２入力情報と第１入力情報という順序が用いられて、α、β、γ、とは異なるδが生成されてもよい。このように、第１入力情報と第２入力情報とを入力情報として取得した場合に、α、β、γ、δが生成されるかを、所定の条件として設定されることにより、アバターの動作等にバリエーションを増やすことが可能な利点がある。特に一の視聴者端末から、入力情報を入力可能な手段として２つある場合において、上述のとおり、所定の期間内に取得する入力情報や、入力された順序を規定することにより、一の視聴者端末から２つの入力手段によって４つのバリエーションの動作が可能となる利点がある。ここでは、２つの入力手段について説明したが、同様に３つ以上の入力手段を規定し、対応して、その組み合わせに応じたアバターの動作等を規定して、アバターの動作等のバリエーションを豊富化してもよい。

また、かかる第１入力情報と第２入力情報とを取得する視聴者端末を、異なる視聴者端末としてもよい。例えば、上述の通り、第１視聴者端末から第１入力情報を取得し、第２視聴端末から第２入力情報を取得してもよい。この場合においても、アバターの動作等について、同様に、α、β、γ、δ、と入力情報を取得したタイミングや順序に応じてアバターの動作を規定する場合、複数の視聴者間で協力して、アバターの動作等を演出させるという試みも可能になる利点がある。この場合、複数の視聴者間では、視聴者同士でチャットやダイレクトメッセージを行いながら協力してもよい。従って、本願発明に係るアプリケーションは、かかるチャットやダイレクトメッセージを提供してもよく、また、かかるアプリケーションは、かかるチャットやダイレクトメッセージを提供可能な画面に、入力情報を提供可能な入力手段を設けてもよい。

また、条件適用部は、上述のように、複数の視聴者端末から入力情報を取得する場合において、かかる入力情報の統計情報を用いてもよい。例えば、視聴者端末からの入力情報が、所定の数以上である場合に、アバターの動作等情報が生成されてよいが、所定の数未満である場合には、アバターの動作等情報が生成されなくてよい。統計情報は、入力情報の数とは関係のなく入力情報を取得する視聴者端末の数についての統計情報であってもよいし、入力情報に係る視聴者端末の数とは関係なく入力情報の数についての統計情報であってもよいし、視聴者端末の数と入力情報の数の両方の数についての統計情報であってもよい。視聴者端末の数の統計情報を用いる場合、アバターの動作等について、どの程度の視聴者が興味を持って入力したかに基づくことができる利点がある。入力情報の数の統計情報を用いる場合、アバターの動作等について、視聴者の数とは関係なく入力情報ののべ数に基づく視聴者の興味の程度に基づくことができる利点がある。なお、入力情報の数は、一の視聴者端末から、所定の期間に、複数の異なる入力情報を取得してもよいし、一の同一の入力情報を複数取得してもよい。なお、統計情報が示す数字が閾値以下の場合、視聴者からの全ての入力情報を取得部は取得し、条件判定部は、全ての入力情報を利用してよい。他方、統計情報が示す数字が閾値を越えている場合、所定条件を満たす視聴者からの入力情報のみを取得部が取得して条件適用部で適用してもよい。又は、統計情報が示す数字が閾値を越えている場合、入力情報を全て取得部が取得した上で、条件判定部が所定の条件を満たす視聴者からの入力情報のみを利用してもよい。この場合、サーバは、かかる所定の条件を判定するために、視聴者端末についての情報や入力情報についての情報を記憶し、管理して、かかる情報を利用して判定してよい。

統計情報は、種々の統計手段が適用されたものであってよい。上述では、統計情報としての合計数を用いたが、一又は複数の視聴者端末からの一又は複数の入力情報に基づく、最大値、最小値、平均値、など種々の統計情報が用いられてよい。また、対応して、統計情報に対する閾値が、所定の条件として設定されることによって、アバターの動作等情報が生成されるか生成されないかを決定してよい。

また、変更するための情報と、前記配信者に係るモーションデータとを利用してよい。アバターは、通常、配信者に係る情報に基づいて、動作される。例えば、配信者の各部位に装着された種々のモーションデータ生成装置によって生成された配信者の各部位のモーションデータが用いられて、アバターの対応する各部位の動作のための情報が生成されてよい。かかる構成により、配信者の各部位の動作に応じて、アバターの各部位の動作が規定される。また、その他の構成として、演者の全身又はその一部を撮像可能な撮像装置によって演者を撮像して得られた画像に対する画像処理によって、演者の各部位のモーションデータを生成し、かかるモーションデータが用いられて、アバターの対応する各部位の動作のための情報が生成されてもよい。ここにおいて、条件適用部は、所定の条件として、前記配信者に係るモーションデータを利用する、のは、条件適用部が、一又は複数の視聴者端末に基づく入力情報に加えて、配信者に係るモーションデータを用いるというものである。例えば、一の視聴者端末から画面右方向へ所定の４単位移動させる指示を取得した場合において、配信者の動作によって、アバターを、画面後方方向へ所定の３単位移動させるようなモーションデータが生成され、取得部が取得した場合、条件適用部は、対象とするアバターを、画面右後方方向へ所定の５単位移動させる動作をさせてよい。この場合、アバターの動作は、視聴者端末から取得した入力情報の動作指示と、配信者に基づくモーションデータのアバターの動作と、の合計の例である。すなわち、視聴者端末から取得したベクトルの情報と、配信者に基づくアバターの動作のベクトル情報と、の合わさったベクトル情報の例である。なお、この場合、条件適用部は、入力情報と配信者に係るモーションデータとを用いて動画を生成してもよいし、配信者に係るモーションデータを用いて生成された動画に対して更に入力情報を用いて動画を修正して生成してもよい。

なお、利用されるモーションデータは、アバターが通常基づく配信者に係るモーションデータのみならず、アバターに係る通常の配信者以外の他の配信者に係るモーションデータであってもよい。すなわち、アバターは、通常、一の配信者の体や表情に備えられたセンサーに基づくモーションデータが用いられて動作し、かかるアバターが基づく配信者は一のみの配信者であるところ、かかるアバターと関連付けられている配信者とは異なる配信者に係るモーションデータが用いられることにより、より、アバターが他の人に操作されているかのような状況を実現できる利点がある。なお、このように、アバターが通常操作されている配信者とは異なる他の配信者に係るモーションデータに基づいて操作される時間は、予め、所定の時間に限定されてよい。

また、条件適用部は、このような入力情報のそのものの適用以外に、所定のルールにおける補正を適用してもよい。例えば、入力情報が、アバターを、画面右方向に所定の単位５の移動の指示である場合、補正係数として５分の１を適用し、アバターを、画面右方向に所定の単位１の移動の指示に変換して適用してもよい。このような補正係数の適用により、入力情報の量の多さを適切に、アバターの動作に反映できる利点がある。他の具体例としては、例えば、アバターが、おばけキャラに近づくか、逃げるか、という状態において、配信者が、逃げる方向の動きを取ったとする。このとき、複数の視聴者端末からおばけキャラに向かっていくという指示が出され、その係数を適切に配分することにより、アバターの動作として、おばけキャラに近づくか、逃げるか、という演出が実現できる。

条件適用部は、入力情報を取得する視聴者端末に応じて、異なる変更するための情報を生成してよい。例えば、第１入力情報は第１視聴者が利用する第１視聴者端末に基づき、第２入力情報は第２視聴者が利用する第２視聴者端末に基づく場合において、第１視聴者と第２視聴者とが一の配信において異なる地位を有する場合、前記第１入力情報が使用された場合の前記変更するための情報と、前記第２入力情報が使用された場合の前記変更するための情報と、は異なってよい。ここで、地位は、番組内で、視聴者を区分けするものであれば何でもよい。例えば、番組内において所定の貢献をすることによって得られた地位であってよい。所定の貢献としては、例えば、その番組を所定の期間に所定の回数以上視聴する又は所定の期間に所定の時間以上視聴する等であってもよいし、番組内で所定のコメントを提供することなどであってもよい。これらの場合において、第１の地位と第２の地位とが、同一の序列の下で、第１の地位が第２の地位よりも視聴者が獲得することに労力が必要な場合、第１の地位によって獲得可能なアバターへの指示としての変更するための情報の種類は、第２の地位によって獲得可能なアバターへの指示としての変更するための情報の種類よりも、多くてよい。

かかる地位は、上述の視聴者のコメントや視聴者による視聴を、サーバにおいて記録し、かかる情報に基づいてサーバにおいてかかる視聴者の地位の情報を生成してよい。また、かかる地位は、上述の視聴者のコメントや視聴者による視聴を、視聴者端末において記録し、かかる情報が所定のタイミングでサーバに送信され、サーバにおいてかかる視聴者の地位の情報を生成してもよい。また、かかる地位は、上述の視聴者のコメントや視聴者による視聴を、視聴者端末において記録し、かかる情報に基づいて視聴者端末においてかかる視聴者の地位の情報を生成してもよい。

また、条件適用部は、複数の前記視聴者端末のそれぞれから取得する情報と、所定の基準とに基づいて、前記配信者に係るそれぞれの前記視聴者端末の順位を特定し、前記順位に応じた前記入力情報を受け付け可能に設定する第２設定情報を前記視聴者端末に送信してよい。ここで、視聴者端末から取得する情報は、視聴者端末による視聴時間や、視聴者端末によって購入されたギフトの購入情報、配信者が配信した複数コンテンツのうちかかる視聴者端末によって視聴されたコンテンツ数などであってよい。

また、前記所定の条件に係る情報は、前記視聴者が属する所属チームを示す情報を含む、ものであってよく、条件適用部は、視聴者が所定のチームに属すると判定部によって判定された場合に、変更するための情報を生成してよい。例えば、条件適用部は、視聴者が、所定の所属チームに所属する場合に限り、アバターに指示が可能であるとしてもよいし、かかる所属チームに所属しない視聴者には指示ができない指示が可能であるとしてもよいし、かかる所属チームと関連付けられた所定の指示が可能であるとしてもよい。ここで、各視聴者が、どのチームに所属するかという、各視聴者と、その所属チームと、を関連付ける情報は、サーバにおいて管理されてもよいし、各視聴者端末において管理されてもよい。各視聴者とその所属チームとの関連付け情報がサーバにおいて管理される場合は、各視聴者に対して自動的に割り振られる情報を取得することで、各視聴者とその所属チームとの関連付け情報がサーバに記憶されてもよいし、各視聴者端末からのチームに所属する要求を取得することにより、各視聴者とその所属チームとの関連付け情報がサーバに記憶されてもよい。他方、各視聴者とその所属チームとの関連付け情報が各視聴者端末において管理される場合、サーバにおいて自動的に割り振られた、各視聴者とその所属チームとの関連付け情報が各視聴者端末に送信されることで各視聴者端末において各視聴者とその所属チームとの関連付け情報が記憶されてもよいし、視聴者端末において視聴者からのチームに所属する要求を取得することにより、視聴者とその所属チームとの関連付け情報が視聴者端末において記憶されてもよい。

また、視聴者と、所属チームとを対応付けて記憶し、前記所属チームに応じた入力情報を受け付け可能に設定する第３設定情報を視聴者端末に送信する、ものであってよい。かかる構成の場合、視聴者端末が属する所属チームに対応した入力情報をサーバは取得できる利点がある。また、入力情報に対して、所属チーム毎に、アバターに対する指示が規定されており、かかるチームに対応した指示が可能であってよい。例えば、スポーツゲーム内において、アバターが所定の機会に行う動作が、各々規定されていてよく、例えば、アバターによる応援の動作、アバターにおける歓喜の動作、がチーム毎に決定しており、視聴者が所属するチーム毎に、かかる動作が規定されてよい。

また、条件適用部は、配信者に係る情報を用いて、かかる配信者に係るアバターが可能な動作又は表情を規定してもよい。例えば、前記所定の条件に係る情報は、前記配信者が属する所属チームを示す情報を含む、ものであってよい。また、配信者が属する所属チームを特定し、前記所属チームに応じた前記入力情報を受け付け可能に設定する第４設定情報を前記視聴者端末に送信するものであってよい。例えば、配信者が所属する所属チームとして、Ａ、Ｂ、Ｃがあったとする。このとき、Ａに所属する配信者に係るアバターは視聴者から入力情報があった場合における動作又は表情としてαが規定され、Ｂに所属する配信者に係るアバターは視聴者からの入力情報があった場合における動作又は表情としてβが規定され、Ｃに所属する配信者に係るアバターは視聴者からの入力情報があった場合における動作又は表情としてγが規定される、などであってよい。これらにおいて視聴者からの入力情報は同一の情報であってもよく、これらα、β、γは、互いに異なる動作又は表情であってよい。なお、所属チームにランキングの順位が設定されている状況において、高い順位のチームは、低いチームのランキングに比べて、視聴者が選択可能な動作又は表情の種類が多くてもよい。

また、条件適用部が、配信者に係る情報を用いる他の態様としては、例えば、配信者のランキングの情報を用いてもよい。すなわち、前記所定の条件に係る情報は、前記配信者のランキングに係る情報を含んでよい。例えば、配信者Ａのランキングがαであり、配信者Ｂのランキングがβであり、αがβよりも高い場合において、配信者Ａに係るアバターの動作又は表情の種類は、配信者Ｂに係るアバターの動作又は表情の種類よりも、多くてよい。この場合、配信者において、アバターの表現の多様化を求める観点で、配信者にランキングを向上させる動機を生じさせる利点がある。また、例えば、配信者Ａのランキングがαであり、配信者Ｂのランキングがβであり、αがβよりも高い場合において、配信者Ａに係るアバターの動作又は表情の変化の範囲が広くてよい。変化の範囲が広いとは、例えば、アバターの変化する部位の数が多いことであってよい。例えば、配信者Ａのランキングがαであり、配信者Ｂのランキングがβであり、αがβよりも高い場合において、配信者Ｂに係るアバターの動作等として顔の表情の変化であるのに対し、配信者Ａに係るアバターの動作等として顔及び上半身の変化であってよい。より具体的な例としては、ランキングが所定順位（例えば１０位）までの配信者に係るアバターについては、アバターの動作等情報が生成できるが、ランキングが所定順位よりも下（例えば１１位以降）の配信者に係るアバターについては、アバターの動作等情報が生成できない、としてもよい。また、ランキング１乃至所定順位の配信者に係るアバターについてはアバターの動作を変更するための情報が生成でき、また、更に、ランキング１乃至上位順位の配信者に係るアバターについてはアバターの動作を変更するための情報に加えてアバターの表情を変更するための情報が生成できる、などとしてよい。この場合、配信者において、アバターの表現の向上を求める観点で、配信者にランキングを向上させる動機を生じさせる利点がある。なお、上位順位は所定順位よりも上位の順位であり、例えば３位である。

上述のランキングは、種々の観点のランキングであってよい。例えば、ランキングは、配信者が配信したコンテンツ数、配信者の連続配信日数、フォローする視聴者数、配信者の視聴者数、受領したギフトの量、コラボ配信回数、のいずれか一又は複数のランキングであってよい。ここで、配信者の視聴者数は、１配信の人数でもよいし、全配信の総人数でもよい。また、受領したギフトの量は、１配信あたりの有料ギフトの総金額、全配信の総金額でもよい。これらに限られず、他の観点のランキングであってもよい。

条件適用部は、一又は複数の視聴者からの入力情報に対して、所定の条件として、アバターの動作又は表情に変更するための情報を生成する場合の制約を課してよい。かかる制約は、所定の条件として、一の視聴者端末からの入力情報の制約であってよい。例えば、一の視聴者端末から取得する入力情報が、アバターの動作又は表情を変更するための情報を生成する際に利用される、所定の条件として、一の視聴者が、入力情報を提供できる回数によって制約されてよい。例えば、一の視聴者は、一配信当たり、３回のみ入力情報を提供できる、などであってよい。

また、かかる回数は、所定の時間内における制約であってもよいし、一の番組内における制約であってもよい。また、かかる回数は、視聴者毎に異なってもよい。例えば、かかる回数は、視聴者の有するアイテム、番組内の地位、配信者との関係、及び／又は、配信者に対して提供したギフト、によって、視聴者毎に決定されてよい。視聴者の有するアイテムは、アバターの動作又は表情を変更する権限を有することを示す特別のアイテムであってもよいし、かかる権限を有しつつ他の用途も有するアイテムであってもよい。番組内の地位における地位は、番組内で、視聴者を区分けするものであれば何でもよい。例えば、その番組を所定の期間に所定の回数以上視聴する又は所定の期間に所定の時間以上視聴する等によって得られた番組内の地位であってよいし、番組内において所定の貢献をすることによって得られた地位であってもよいし、番組内で所定のコメントを提供することなどによって得られた地位であってもよい。配信者との関係は、配信者に係るアバターを、所定の回数以上又は所定の時間以上視聴する、などであってよい。また、配信者に対して提供したギフトは、配信者に対して、所定の回数以上ギフトを提供したこと、所定の金額のギフトを提供したこと、所定のギフトを提供したこと、所定のレベルのギフトを提供したこと、などであってよい。ここで所定の金額のギフトは、提供したギフトの合計金額であってもよい。

上述の入力情報を提供可能な回数（本願書類において、「上限回数」ということもある）は、予めシステム上定められた数であってもよいし、管理者、配信者、視聴者が決定可能な数であってもよい。かかる上限回数は、サーバ、視聴者端末、及び／又は、配信者端末で設定されてもよい。また、視聴者端末から、定められた範囲（例えば、一配信あたり、所定の時間内、一番組など）で入力情報が提供される度に、入力情報が提供される回数を数える処理も、サーバ上、視聴者端末、及び／又は、配信者端末、で処理されてよい。かかる入力情報が提供された回数を数える処理をする装置においては、かかる上限回数も有し、入力情報が提供された回数が、かかる上限回数に達したかどうかの判定をしてよく、かかる上限回数に達した後は、入力情報が提供できないよう構成してよい。視聴者端末においては、かかる上限回数に達した後、アバターの操作可能な入力情報が提供できないことを示す情報を表示してよい。

また、条件適用部は、アバターの動作又は表情を変更するために提供される入力情報を提供可能な視聴者を、配信者が指定することを、所定の条件としてよい。すなわち、条件適用部の利用する入力情報は、前記アバターに係る配信者端末から取得した前記入力情報を提供可能な視聴者に基づく前記入力情報を含んでよい。配信者は、全ての視聴者の指示により、アバターの動作又は表情が変更されたくない場合があり、配信者が、アバターの動作又は表情を変更可能な視聴者を選択したい場合があるためである。かかる構成を備える場合、アバターは、配信者から指定された視聴者からのみの動作又は表情の変更指示を受けることができる。この場合、配信者が指定可能な視聴者数は、予め定められてもよいし、アバター自身が指定できてもよい。後者の場合、配信者に係るアバターの動作又は表情を変更可能な一又は複数の視聴者を指定可能なように、一又は複数の視聴者を示す情報が、配信者端末において表示されてよい。また、かかる一又は複数の視聴者を示す情報のうち、配信者によって選択された一又は複数の視聴者からの入力情報にのみ基づいて、アバターの動作又は表情が変更されてよい。また、配信者が一又は複数の視聴者を指定した場合、かかる配信者が視聴者を指定したという情報が、指定された視聴者端末に送信され、かかる視聴者端末において表示されてもよい。表示される場合、視聴者は、自らがアバターの動作又は表情を変更することが可能であることを理解した上で、アバターに対して動作又は表情を変更できる利点がある。

配信者は、一の配信に対し、その配信の全ての時間に対して、アバターの動作又は表情を変更することの可能な、一又は複数の視聴者を指定してもよいし、かかる一の配信に対し、その配信の一部の時間に対して、アバターの動作又は表情を変更することの可能な、一又は複数の視聴者を指定してもよい。後者において、配信者は、視聴者に対してアバターへの指示が可能な時間を規定してよい。この場合、配信者がアバターに指示が可能な時間を指定してもよいし、指定しなくともよい。また、配信者によって時間が指定されている場合であっても配信者によって時間が指定されていない場合においても、アバターに対して指示が可能な時間の情報が、視聴者端末に送信され、視聴者端末において表示されてもよい。時間情報が視聴者端末において表示された場合、視聴者は、アバターに対して指示が可能な残り時間を理解できる利点がある。

配信者は、視聴者に対して、アバターへの指示が可能なスケジュールを指定してもよい。例えば、一の配信の時間内において、時間を区分けして、アバターへの指示が可能な視聴者を、各区分けされた時間に対応して、指定してもよい。例えば、配信が、１９時から１９時半の３０分において、１９時から１９時１０分の間を視聴者Ａを指定し、１９時１０分から１９時２０分の間を視聴者ＢとＣを指定し、１９時２０分から１９時３０分を視聴者Ｄを指定する、などであってよい。また、かかる情報は、指定された視聴者に係る視聴者端末のみに送信され、指定された視聴者に係る視聴者端末に表示されてよい。この場合、アバターに指示が可能な時間を、アバターに指示が可能な視聴者は、理解できる利点がある。他方、かかる情報は、配信を視聴する全ての視聴者に係る視聴者端末に送信され、全ての視聴者に係る視聴者端末で表示されてもよい。この場合、アバターに対して指示ができない視聴者も、誰がアバターに対して指示ができるのか、を理解できる利点がある。また、かかる情報は、配信前又は配信開始時から配信時間中、視聴者端末に送信されてよい。予め情報が提供されることにより、視聴者は、予め誰がアバターを指示できるのか、理解できる利点がある。

なお、配信者が指定した視聴者に対し、配信者によって指定されたことが送信されないよう構成されてもよい。この場合、視聴者は、自らが、アバターに対する指定が可能であるかどうかが不明の状況で、アバターに対して指示を行うようになる。

また、条件適用部は、一の仮想空間内において、配信者に係るアバターが複数いる場合、視聴者から指定されたアバターについて、アバターの動作等情報を生成してよい。この場合、アバターの種類は問わない。例えば、アバターは、配信者が備えるセンサーに基づくモーションデータが用いられて動作する場合もあれば、配信者が備えるセンサーに基づくモーションデータが用いられない場合もある。後者は、仮想空間内において、アバターが表示されているものの配信者自身の動きに基づいて動作しない場合がある。このような場合においても、一又は複数の視聴者端末からの、各々、一又は複数の入力情報に基づいて、かかる配信者に係るモーションデータが用いられていないアバターの動作等情報を生成させ、対応して、アバターの動作等を演出させてもよい。例えば、複数のアバターついて、写真撮影をする場合において、配信者自身が操作可能なアバターは配信者自身がポーズをすることに対し、配信者に備えられたセンサーに基づいて動作しないアバターについて、視聴者からの入力情報に基づいて、撮影のためのポーズがされてもよい。この場合、通常であれば、動作しないアバターが、視聴者からの入力情報によって動くことが可能となり、よりコミュニケーションを活発化できる利点がある。

また、条件適用部は、前記取得した入力情報が所定の条件を充足するか否かを判定する機能は、視聴者端末から入力情報を取得次第判定してもよいし、所定の時間経過後に条件の充足を判定してもよい。また、条件適用部は、所定の条件を充足するか否かを判定して、所定の条件を充足すると判定した後、直後に、配信者の動作又は表情に基づくアバターの動作又は表情を入力情報に応じて変更するための情報を生成してもよいし、所定の期間経過後に、配信者の動作又は表情に基づくアバターの動作又は表情を入力情報に応じて変更するための情報を生成してもよい。また、条件適用部は、配信者の動作又は表情に基づくアバターの動作又は表情を入力情報に応じて変更するための情報を生成した直後に、かかる情報に基づいてアバターの動作又は表情が変更されてもよいし、かかる情報を生成して所定の期間の後にかかる情報に基づいてアバターの動作又は表情が変更されてもよい。

また、条件適用部は、入力情報に基づいて生成される、アバターの動作又は表情を変更するための情報を、アバターに係る情報を用いて、生成してもよい。例えば、アバターに係る情報として、アバターが属するタイプを用いてもよい。例えば、第１アバターと第２アバターとが異なるタイプに所属するアバターである場合において、入力情報が、第１アバターに対して用いられて生成されたアバターの動作又は表情を変更するための情報がαであるのに対し、同一の入力情報が第２アバターに対して用いられて生成されたアバターの動作又は表情を変更するための情報がβであってよい。ここで、第１アバターと第２アバターは、同一の配信者に係るアバターであってもよいし、異なる配信者に係るアバターであってもよい。また、第１アバターと第２アバターとが同じタイプに所属するアバターであっても、第１アバターと第２アバターが異なる場合において、入力情報が、第１アバターに対して用いられて生成されたアバターの動作又は表情を変更するための情報がαであるのに対し、同一の入力情報が第２アバターに対して用いられて生成されたアバターの動作又は表情を変更するための情報がβであってよい。

また、条件適用部によって、生成されるアバターの動作又は表情を変更するための情報は、確率に基づいて、生成されてもよい。ここで、確率は、疑似乱数関数などで生成される関数値によって判定されてよい。この場合、同一のアバターで同一の入力情報であっても、アバターの動作又は表情を変更するための情報が異なってもよい。例えば、一の入力情報と一のアバターに対して、第１の機会において生成されるアバターの動作又は表情を変更するための情報がαであるのに対し、同一の入力情報と同一のアバターに対して、第２の機会において生成されるアバターの動作又は表情を変更するための情報がβであってよい。

条件適用部が、所定の条件の充足によって、生成した、アバターの動作等情報が直接用いられて、アバターの動作等が規定されてもよいし、生成した、アバターの動作等情報が間接的に用いられて、アバターの動作等が規定されてもよい。後者は、生成されたアバターの動作等情報に基づき、かかる動作等情報が加工されて、アバターの動作等が規定されてもよい。より具体的には、所定の条件の充足によって生成されたアバターの動作等情報は、動作等を示すＩＤや、動作等を示す動作の一又は複数のパラメータであってよく、かかる生成された動作等情報を、かかるアバターの動作等とできるように、かかる生成された動作等情報が直接的又は間接的に用いられて、アバターの動作等が設定されてよい。かかるＩＤやパラメータの情報は、条件適用部において生成された後、かかる情報が、映像やアニメーションの生成のためにサーバや端末に送信され、所定期間、利用されてよい。ここで、条件適用部は、各所定の条件と関連付けて、生成されるアバターの動作等情報を記憶してよく、かかる各所定の条件が充足された場合に、対応して、動作等情報を生成できるよう構成されてよい。なお、所定の条件の充足によって適用される動作等がアバターに、所定期間、設定された後は、元のアバターの動作に戻ってよい。すなわち、アバターは、配信者によって演じられていることから、所定期間の後、アバターの動作等は、配信者の動作等に基づくものとなってよい。ここで、配信者の動作等に基づくとは、配信者の動作等を光学センサーや慣性センサーで検出された情報によって規定されたものであってよい。

アバターの動作等を示す情報を生成する処理とかかる情報を設定する処理において、条件適用部が実行される第１情報処理装置と、かかるアバターの動作等の設定を含む処理を行う第２情報処理装置と、が同じ場合、条件適用部は、条件適用部が所定の条件の充足によって生成した動作等を示す情報を用いて、前記アバターの動作等と設定するよう処理してよい。

また、条件適用部が実行される第１情報処理装置と、かかるアバターの動作等を示す情報の設定を含む処理を行う第２情報処理装置と、が異なる場合、条件適用部が所定の条件の充足によって生成した動作等を示す情報を、第１情報処理装置は、第２情報処理装置に送信し、かかる第２情報処理装置において、生成された動作等を示す情報を用いて、前記アバターの動作等を示す情報と設定するよう処理してよい。

ここで、第１情報処理装置がサーバであって、第２情報処理装置がサーバである場合は、第１情報処理装置のサーバから、第２情報処理装置のサーバに、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の視聴者端末に、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が配信者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の配信者端末に、かかる生成された動作等を示す情報が送信されてよい。

同様に、第１情報処理装置が視聴者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の視聴者端末から、第２情報処理装置のサーバに、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の視聴者端末に、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の配信者端末に、かかる生成された動作等を示す情報が送信されてよい。

同様に、第１情報処理装置が配信者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の配信者端末から、第２情報処理装置のサーバに、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置が配信者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の配信者端末に、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置が配信者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の視聴者端末に、かかる生成された動作等を示す情報が送信されてよい。

上記では、条件適用部が、単一の情報処理装置において実行される態様を示しているが、複数の情報処理装置において条件適用部を分散して処理してもよい。

また、条件適用部は、所定の表情等が設定されるタイミングを用いて、所定の表情等を設定してよい。タイミングは、例えば、上述のように、視聴者端末から入力情報を入力した直後や、かかる情報に基づいて所定の条件が判定されて、アバターの動作等を示す情報が生成された時点、かかる時点から所定の期間経過時点、などであってよい。この場合、かかる生成された動作等を示す情報を含む情報が、表示される情報処理装置に送信されて、表示されてよい。この場合のタイミングのずれは、通信や処理のタイムラグが含まれてよい。

図５は、生成される動作等を示した一例である。取得した情報を、所定の条件として用いることにより、対応する、所定の表情等が特定されるものとなる。

上述のように、条件適用部の機能によって、視聴者からの情報を活用して、アバターの動作等を規定することができ、よりコミュニケーションが活発化できる利点がある。

４．実施形態
４－１．実施形態１
実施形態１は、視聴者端末において、条件適用部が動作する例である。この場合、取得部は、視聴者端末において、動作してよい。本例について、図６を用いて説明する。なお、視聴者端末において、条件適用部が動作するため、視聴者端末に基づく情報を所定の条件として含めることにより、視聴者端末毎に、アバターの動作等を変更することも可能であってよい。

ステップ１
取得部が、入力情報を取得する（ステップ００１）。かかる入力情報は、条件適用部が動作する視聴者端末において入力されたものでもよいし、他の視聴者端末において入力された情報や演出としてサーバ内で生成された情報を、一又は複数のサーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。

ステップ２
次に、判定部が、少なくとも入力情報を用いて、所定の条件を判定する（ステップ００２）。

ステップ３
次に、判定部が、所定の条件が充足すると判定した場合、条件適用部が、入力情報を用いて、アバターの動作等を生成する（ステップ００３）。このために、条件適用部は、少なくとも一部の所定の条件とかかる条件が充足した場合におけるアバターの動作等情報又はアバターの動作等情報と関連付けられている情報を有していてよい。

ステップ４
生成された動作等情報が用いられて、視聴者端末において、アバターに係る動作等に設定する（ステップ００４）。視聴者は、自身又は他の視聴者端末への入力に対応して、アバターの動作等が変更される反応を視聴できる利点がある。

ステップ５
各視聴者端末において、アバターの動作等が所定の期間表示された後、元のかかるアバターに係る配信者の動作等に基づく動作等に戻る（ステップ００５）。視聴者端末に基づくアバターの動作等の変更は、一定の所定の期間に限定することで、元の配信者によるアバターの動作を必要以上に制限しないためである。

４－２．実施形態２
実施形態２は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、視聴者端末上においてアニメーションが生成されてもよいし、サーバ上でアニメーションが生成されてもよいが、図７を用いて説明する。

ステップ１
取得部が、入力情報を取得する（ステップ００１）。

ステップ２
次に、判定部が、少なくとも入力情報を用いて、所定の条件を判定する（ステップ００２）。

ステップ３
次に、判定部が、所定の条件が充足すると判定した場合、条件適用部が、入力情報を用いて、アバターの動作等情報を生成する（ステップ００３）。

ステップ４
サーバは、生成されたアバターの動作等情報を、かかるアバターの配信を視聴している、各視聴者端末に送信する（ステップ００４）。

ステップ５
各視聴者端末において、サーバから取得したアバターの動作等情報を用いて、アバターの動作等を設定する（ステップ００５）。ここで、各視聴者端末において、かかる設定されたアバターの動作等を用いて、アニメーションが生成されてもよい。

ステップ６
各視聴者端末において、サーバから取得したアバターの動作等を示す情報が用いられたアバターの動作等が、所定の期間表示され、その後元のかかるアバターに係る配信者の動作等に基づく動作等に設定される（ステップ００６）。なお、サーバにおいて、アニメ―エションが生成された場合は、各アニメーション内に、所定の期間、かかる生成された動作等が用いられてアニメーションが生成され、各視聴者端末に送信されて、各視聴者端末において表示されてよい。所定の期間が経過後は、サーバにおいて、アバターに係る配信者の動作等に基づきトラッキングによって得られた動作等がアバターの動作等として使用されたアニメーションが生成され、各視聴者端末に送信されて、各視聴者端末において表示されてよい。

４－３．実施形態３
実施形態３は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、サーバ上において、アバターの表情を含む映像が生成される前提で、図８を用いて説明する。

ステップ１
取得部が、入力情報を取得する（ステップ００１）。

ステップ２
次に、判定部が、少なくとも入力情報を用いて、所定の条件を判定する（ステップ００２）。

ステップ３
次に、判定部が、所定の条件が充足すると判定した場合、条件適用部が、入力情報を用いて、アバターの動作等情報を生成する（ステップ００３）。

ステップ４
サーバは、生成された動作等情報を用いて、かかるアバターの配信についての映像を生成する（ステップ００４）。ここで、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、同一のサーバの場合、条件適用部を実行するサーバにおいて、アバターの配信のための映像を生成してよい。他方、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、異なるサーバの場合、条件適用部を実行するサーバから、かかる映像を生成するサーバに、かかる生成された動作等情報又はかかる動作等情報に基づく情報が送信され、かかる映像を生成するサーバにおいて、かかる生成された動作等情報又はかかる動作等情報に基づく情報が用いられてよい。また、これらの場合において、判定部を実行するサーバと条件適用部を実行するサーバが異なる場合においては、判定部における判定結果のみが条件適用部に送信されてもよい。また、判定部による判定結果が視聴者端末に送信され、上述のように視聴者端末で映像が生成されてもよい。なお、かかるサーバにおいてアニメーションを生成する場合も同様に、映像と共に又は映像に代えて、かかるアバターの配信についてのアニメーションを生成してもよく、この場合は以降映像と共に又は映像に代えてアニメーションが使用されてよい。

ステップ５
生成された動作等情報に基づいて生成されたアバターの変更するための情報が、各視聴者端末に対して送信される（ステップ００５）。

ステップ６
各視聴者端末において、サーバから取得した動作等情報が用いられた映像が、所定の期間表示され、その後元のかかるアバターに係る配信者の動作等に基づく動作等に基づくアバターの映像が表示される（ステップ００６）。

４－４．様々な実施態様について
第１の態様によるコンピュータプログラムは、「一又は複数のプロセッサにより実行されることにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。

第２の態様によるコンピュータプログラムは、上記第１の態様において「前記所定の条件として、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報と、を利用する」ものである。

第３の態様によるコンピュータプログラムは、上記第１の態様又は上記第２の態様において「前記変更するための情報と、前記配信者に係るモーションデータとを利用する」ものである。

第４の態様によるコンピュータプログラムは、上記第１乃至上記第３のいずれか一の態様において「所定の基準に基づき、複数の前記視聴者端末から特定の前記視聴者端末を特定し、複数の視聴者端末から取得した前記入力情報から、特定した前記視聴者端末からの前記入力情報を用いる」ものである。

第５の態様によるコンピュータプログラムは、上記第１乃至上記第４のいずれか一の態様において「複数の視聴者端末から、所定の条件を満たす前記視聴者端末を特定し、特定した前記視聴者端末に、前記入力情報を受け付け可能に設定する第１設定情報を送信する」ものである。

第６の態様によるコンピュータプログラムは、上記第１乃至上記第５のいずれか一の態様において「前記入力情報を受け付け可能にする設定を実行するか否かの判断基準を示す情報を前記視聴者端末に送信する」ものである。

第７の態様によるコンピュータプログラムは、上記第１乃至上記第６のいずれか一の態様において「前記所定の条件に係る情報は、前記視聴者が、前記入力情報を提供できる回数を含む」ものである。

第８の態様によるコンピュータプログラムは、上記第１乃至上記第７のいずれか一の態様において「複数の前記視聴者端末のそれぞれから取得する情報と、所定の基準とに基づいて、前記配信者に係るそれぞれの前記視聴者端末の順位を特定し、前記順位に応じた前記入力情報を受け付け可能に設定する第２設定情報を前記視聴者端末に送信する」ものである。

第９の態様によるコンピュータプログラムは、上記第１乃至上記第８のいずれか一の態様において「所定の条件に係る情報は、前記視聴者が属する所属チームを示す情報を含む」ものである。

第１０の態様によるコンピュータプログラムは、上記第１乃至上記第９のいずれか一の態様において「前記視聴者と、所属チームとを対応付けて記憶し、前記所属チームに応じた前記入力情報を受け付け可能に設定する第３設定情報を前記視聴者端末に送信する」ものである。

第１１の態様によるコンピュータプログラムは、上記第１乃至上記第１０のいずれか一の態様において「前記所定の条件に係る情報は、前記配信者が属する所属チームを示す情報を含む」ものである。

第１２の態様によるコンピュータプログラムは、上記第１乃至上記第１１のいずれか一の態様において「前記配信者が属する所属チームを特定し、前記所属チームに応じた前記入力情報を受け付け可能に設定する第４設定情報を前記視聴者端末に送信する」ものである。

第１３の態様によるコンピュータプログラムは、上記第１乃至上記第１２のいずれか一の態様において「前記所定の条件に係る情報は、前記配信者のランキングに係る情報を含む」ものである。

第１４の態様によるコンピュータプログラムは、上記第１乃至上記第１３のいずれか一の態様において「前記所定のアバターの動作を変更するための情報は、前記アバターの一又は複数の所定部位についての動作を変更するための情報を含む」ものである。

第１５の態様によるコンピュータプログラムは、上記第１乃至上記第１４のいずれか一の態様において「前記所定部位は、頭部、頭部を除く上半身、及び／又は、下半身、を含む」ものである。

第１６の態様によるコンピュータプログラムは、上記第１乃至上記第１５のいずれか一の態様において「前記変更するための情報は、前記頭部、前記頭部を除く上半身、及び、前記下半身、の一部又は全部が異なる」ものである。

第１７の態様によるコンピュータプログラムは、上記第１乃至上記第１６のいずれか一の態様において「前記入力情報は、アバターの動作又は表情の種類を表す入力に基づく」ものである。

第１８の態様によるコンピュータプログラムは、上記第１乃至上記第１７のいずれか一の態様において「前記入力情報は、前記視聴者端末に入力されたコメントに基づく」ものである。

第１９の態様によるコンピュータプログラムは、上記第１乃至上記第１８のいずれか一の態様において「前記入力情報は、前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報に基づく」ものである。

第２０の態様によるコンピュータプログラムは、上記第１乃至上記第１９のいずれか一の態様において「前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報は、いいねボタンによるいいね、または、フォローボタンのフォロー、である」ものである。

第２１の態様によるコンピュータプログラムは、上記第１乃至上記第２０のいずれか一の態様において「前記プロセッサは、視聴者端末内に備えられ、前記生成された情報を前記アバターに設定してアニメーションを生成する」ものである。

第２２の態様によるコンピュータプログラムは、上記第１乃至上記第２０のいずれか一の態様において「前記プロセッサは、配信者端末内に備えられ、前記生成された情報を前記アバターに設定してアニメーションを生成する」ものである。

第２３の態様によるコンピュータプログラムは、上記第１乃至上記第２０のいずれか一の態様において「前記プロセッサは、サーバ内に備えられる、前記生成された情報を前記アバターに設定してアニメーションを生成する」ものである。

第２４の態様によるコンピュータプログラムは、上記第１乃至上記第２０のいずれか一の態様において「前記プロセッサは、サーバ内に備えられる、前記生成された情報を前記アバターに設定して、映像を生成する」ものである。

第２５の態様によるコンピュータプログラムは、上記第１乃至上記第２４のいずれか一の態様において「前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である」ものである。

第２６の態様によるサーバ装置は、「一又は複数のプロセッサを具備し、前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。

第２７の態様によるサーバ装置は、上記第２６の態様において「前記所定の条件として、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報と、を利用する、」ものである。

第２８の態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。

第２９の態様による方法は、上記第２８の態様において「前記所定の条件として、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報と、を利用する、」ものである。

第３０の態様による視聴者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。

第３１の態様による配信者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。

また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。

本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。

１ システム
１０ 通信網
２０（２０Ａ～２０Ｃ） サーバ装置
３０（３０Ａ～３０Ｃ） 端末装置
２１（３１） 演算装置
２２（３２） 主記憶装置
２３（３３） 入出力インタフェイス
２４（３４） 入力装置
２５（３５） 補助記憶装置
２６（３６） 出力装置
４１ 取得部
４２ 判定部
４３ 条件適用部

Claims (21)

1. コンピュータプログラムであって、
   一又は複数のプロセッサにより実行されることにより、
   モーションデータを含む情報に基づいて配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、
   前記入力情報は視聴者が指定した動作又は表情に関する情報を含み、
   前記入力情報が所定の数以上である場合に、前記配信者の動作に基づく前記アバターの動作又は表情を前記視聴者が指定した動作又は表情に変更するための情報を生成する、
   ことを特徴とするコンピュータプログラム。
2. 前記取得した入力情報は、少なくとも、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報である
   請求項１に記載のコンピュータプログラム。
3. 前記変更するための情報と、前記配信者に係るモーションデータとを利用して、前記アバターを動作させるための情報を生成する、請求項１又は２に記載のコンピュータプログラム。
4. 複数の視聴者端末から所定の条件を満たす視聴者端末を特定し、
   複数の前記視聴者端末から取得した前記入力情報のうち、前記特定した視聴者端末から取得した前記入力情報に応じて、前記配信者の動作に基づく前記アバターの動作を前記視聴者が指定した動作に変更するための情報を生成する、
   請求項１乃至３のいずれか１項に記載のコンピュータプログラム。
5. 複数の視聴者端末から、所定の条件を満たす視聴者端末を特定し、
   前記特定した視聴者端末に、前記入力情報を受け付け可能に設定する第１設定情報を送信する、
   請求項１乃至３のいずれか１項に記載のコンピュータプログラム。
6. 前記入力情報を受け付け可能にする設定を実行するか否かの判断基準を示す情報を前記視聴者端末に送信する、
   請求項１乃至５のいずれか１項に記載のコンピュータプログラム。
7. 前記所定の条件は、前記視聴者より前記入力情報を取得した回数が所定回数未満である、
   請求項４又は５に記載のコンピュータプログラム。
8. 複数の前記視聴者端末のそれぞれから取得する情報と、所定の基準とに基づいて、前記配信者に係るそれぞれの前記視聴者の順位を特定し、
   前記所定の条件は、前記視聴者が所定順位である、
   請求項４又は５に記載のコンピュータプログラム。
9. 視聴者と当該視聴者の順位を対応づけて記憶し、
   前記順位に応じた前記入力情報を受け付け可能に設定する第２設定情報を前記視聴者端末に送信する、
   請求項８に記載のコンピュータプログラム。
10. 前記所定の条件は、前記視聴者が所定のチームに所属していることである、
    請求項４又は５に記載のコンピュータプログラム。
11. 前記視聴者と、所属チームとを対応付けて記憶し、
    前記所属チームに応じた前記入力情報を受け付け可能に設定する第３設定情報を前記視聴者端末に送信する、
    請求項１乃至９のいずれか１項に記載のコンピュータプログラム。
12. 前記配信者が属する所属チームを特定し、
    前記所属チームに応じた前記入力情報を受け付け可能に設定する第４設定情報を前記視聴者端末に送信する、
    請求項１乃至１０のいずれか１項に記載のコンピュータプログラム。
13. 前記視聴者が指定した動作に変更するための情報は、前記アバターの一又は複数の所定部位についての動作を変更するための情報を含む、
    請求項１乃至１２のいずれか１項に記載のコンピュータプログラム。
14. 前記所定部位は、頭部、頭部を除く上半身、及び／又は、下半身、を含む、
    請求項１３に記載のコンピュータプログラム。
15. 前記変更するための情報は、前記所定部位の少なくとも一部について、前記配信者の動作に基づく前記アバターの動作を変更するための情報である、
    請求項１４に記載のコンピュータプログラム。
16. 前記入力情報は、アバターの動作又は表情の種類を表す入力に基づく、
    請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
17. 前記入力情報は、前記視聴者端末に入力されたコメントに基づく、
    請求項１乃至１６のいずれか１項に記載のコンピュータプログラム。
18. 前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
    請求項１乃至１７のいずれか１項に記載のコンピュータプログラム。
19. コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
    モーションデータを含む情報に基づいて配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、
    前記入力情報は視聴者が指定した動作又は表情に関する情報を含み、
    前記入力情報が所定の数以上である場合に、前記配信者の動作に基づく前記アバターの動作又は表情を前記視聴者が指定した動作又は表情に変更するための情報を生成する、
    ことを特徴とする方法。
20. 前記取得した入力情報は、少なくとも、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報である、
    請求項１９に記載の方法。
21. 前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
    請求項１９又は２０に記載の方法。