JP7250721B2 - コンピュータプログラム、サーバ装置、端末装置、及び方法 - Google Patents
コンピュータプログラム、サーバ装置、端末装置、及び方法 Download PDFInfo
- Publication number
- JP7250721B2 JP7250721B2 JP2020050781A JP2020050781A JP7250721B2 JP 7250721 B2 JP7250721 B2 JP 7250721B2 JP 2020050781 A JP2020050781 A JP 2020050781A JP 2020050781 A JP2020050781 A JP 2020050781A JP 7250721 B2 JP7250721 B2 JP 7250721B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- mode
- animation
- terminal
- viewer terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Description
本件出願に開示された技術は、コンピュータプログラム、サーバ装置、端末装置及び方法に関する。
近年、配信者がアバターオブジェクトとして仮想空間内で演じる、ゲーム、アニメーション、動画などがある。かかる仮想空間においては、配信者の演じるアバターオブジェクトを、仮想空間内の映像として、配信していた。
特許文献１に記載された技術は、背景と３ＤＣＧ空間の映像を合成するものである。また、特許文献２に記載された技術は、プレイヤと参加者とが交流するものである。また、特許文献３に記載された技術は、実写画像と仮想画像とを合成するものである。また、特許文献４に記載された技術は、動画配信に係るものである。
なお、上記特許文献１乃至４は、引用によりその全体が本明細書に組み入れられる。
本件出願において開示された幾つかの実施形態は、配信者の演じるアバターオブジェクトの演出が可能な、コンピュータプログラム、サーバ装置、端末装置、及び方法を提供する。
一態様に係るコンピュータプログラムは、プロセッサにより実行されることにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、ものである。
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、ものである。
また、他の一態様に係るコンピュータプログラムは、プロセッサにより実行されることにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音と、
を送信する、ものである。
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音と、
を送信する、ものである。
また、他の一態様に係るコンピュータプログラムは、プロセッサにより実行されることにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を送信する、ものである。
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を送信する、ものである。
一態様に係るサーバ装置は、プロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を送信する、
ものである。
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を送信する、
ものである。
また、一態様に係る方法は、コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、ものである。
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、ものである。
また、他の一態様に係る方法は、コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を送信する、ものである。
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を送信する、ものである。
また、他の一態様に係る方法は、コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音と、
を送信する、ものである。
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音と、
を送信する、ものである。
一態様に係る端末装置は、プロセッサにより実行されることにより、プロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、ものである。
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、ものである。
他の一態様に係る端末装置は、プロセッサにより実行されることにより、プロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音と、
を送信する、ものである。
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音と、
を送信する、ものである。
以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるものの、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプログラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得ることができるように組み合わされたものであればよい。
１．システムの例
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示すように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には、サーバ装置２０の例として、３つのサーバ装置２０Ａ～２０Ｃが例示され、端末装置３０の例として、３つの端末装置３０Ａ～３０Ｃが例示されているが、サーバ装置２０として、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示すように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には、サーバ装置２０の例として、３つのサーバ装置２０Ａ～２０Ｃが例示され、端末装置３０の例として、３つの端末装置３０Ａ～３０Ｃが例示されているが、サーバ装置２０として、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。
また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるものであってもよい。また、システムの所有者と管理者は異なってもよい。
通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット、イーサネット（登録商標）、及び／又はこれらの組み合わせ等であってよく、また、これらに限定されない。通信網１０においては、本願書類で開示された種々のデータが通信されてよい。
サーバ装置２０は、インストールされた特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、映像を送信し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を送信する、という動作等を実行できてよい。
或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、配信された映像を受信し、前記受信された映像データを表示し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を受信し、前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、前記アニメーションを表示する、という動作などを実行できてよい。
或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、映像を送信し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を送信する、という動作等を実行できてよい。
端末装置３０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等であってよく、これらに限定されない。
２．各装置のハードウェア構成
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。
２－１．サーバ装置２０のハードウェア構成
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３０に関連して記載されたものである。）
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３０に関連して記載されたものである。）
図２に示すように、サーバ装置２０は、主に、演算装置２１と、主記憶装置２２と、入出力インタフェイス装置２３を備えることができる。サーバ装置２０は、更に、入力装置２４と、補助出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されていてよい。
演算装置２１は、主記憶装置２２に記憶されている命令及びデータを用いて演算を行い、その演算の結果を主記憶装置２２に記憶させるものである。さらに、演算装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。サーバ装置２０は、１以上の演算装置２１を含んでよい。演算装置２１は、１又はそれ以上の、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでよい。
主記憶装置２２は、記憶機能を有し、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置２０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、演算装置２１の演算結果を記憶するものである。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。
補助記憶装置２５は、記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶してよく、演算装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）は入出力インタフェイス装置２３を介して主記憶装置２２にロードされてよい。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置、ファイルサーバ等であってよく、これらに限定されない。
入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等であってよい。
出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができてよい。また、入力装置２４と出力装置２６とが一体化されたものであってもよい。
このようなハードウェア構成にあっては、演算装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置２０及び他の端末装置３０等）との間で様々な情報の送受信を行うことができてよい。
サーバ装置２０がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、映像を送信し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を送信する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、かかる動作等は、ユーザーが、入力装置２４又は後述する端末装置３０に係る入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置２１上で実行されている場合にはユーザーの利用するシステムとしてのサーバ装置２０の出力装置２６によって表示されてよく、又はユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示させる構成であってよい。なお、サーバ装置について、本願書類において、管理サーバということもある。
２－２．端末装置３０のハードウェア構成
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。
図２に示すように、各端末装置３０は、主に、演算装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。
演算装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各サーバ装置２０に含まれる、演算装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一であってもよいし、異なるものであってもよい。また、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置３４及び出力装置３６については、以下で詳述する。
このようなハードウェア構成にあっては、演算装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各サーバ装置２０等）との間で様々な情報の送受信を行うことができる。
端末装置３０がかかる構成を備え、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、配信された映像を受信し、前記受信された映像データを表示し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を受信し、前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、前記アニメーションを表示する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。
或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、映像を送信し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を送信する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、インストールされたウェブブラウザを実行することにより、サーバ装置２０からウェブページを受信及び表示して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置３１上で実行されている場合にはユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示する構成であってよい。
端末装置は、本願書類において、「配信者端末」と「視聴者端末」の２種類の端末装置があってよい。これらは端末の役割に対して付与された名称であってよく、一の端末装置が、視聴者端末であることもあれば、配信者端末であることもあり、また、視聴者端末であると同時に配信者端末であってもよい。配信者端末は、配信されるものにアバターなどのキャラクターとして登場する者である配信者が利用する端末であってよい。他方、視聴者端末は、主に、配信されたものを視聴する者である視聴者が利用する端末であってよい。なお、視聴者も、アバターなどのキャラクターに対してギフトを提供するギフティング行為によって、配信されるものにギフトが登場するような形で、視聴者が配信されるものに一定の影響をあたえてもよい。同様に、視聴者は、音声、コメント、等の形で、配信されるものに、一定の影響を与えてよい。配信されるものは、映像であってもよいし、アニメーションであってもよく、これらの一部に配信者が演じるアバターなどのキャラクターが登場する者であればよい。なお、上述の説明は、本願発明の一実施形態が適用される例にすぎず、かかる前提のないキャラクターが登場する仮想空間においても、本願発明に係る各実施形態は適用されてよい。
視聴者端末は、上述のように、音声の入力、コメントの入力、ギフティングなどが可能に構成されてよい。例えば、視聴者端末は、入力装置３４として、コメントを入力可能であり、テキスト情報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、視聴者端末は、演算装置３４により、一定のコメントを生成する機能を有してもよい。これらの取得されたコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
なお、本願発明に係るコメントは、視聴者端末によって入力されるコメント以外に、システムが自動的に生成するものであってよい。かかるコメントは、視聴者端末に向けて送信され、視聴者端末において表示されてよい。
また、視聴者端末は、入力装置３４として、音を取得可能なマイクを含んでよい。なお、人の音声は、入力装置３４としてのマイクによって取得され、音として扱ってもよいし、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、視聴者端末は、演算装置３１によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
他方、配信者端末は、入力装置３４として、人の動きを検知可能なモーションセンサーを含んでよい。モーションセンサーは、配信者の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうるが、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるものであってよい。モーションセンサーは、加速度センサー、ジャイロセンサー、地磁気センサーなどを有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
また、配信者端末は、入力装置３４として、動画を撮像可能な撮像装置を含んでよい。撮像装置は、配信者の、頭、顔面、目、身体の一部、全身、などを撮像してよい。撮像装置が、頭や顔面を撮像する場合顔の方向を検知することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。配信者端末は、これらのモーションに係る情報を、モーションセンサー又は動画から生成してよい。また、かかるモーションセンサー又は動画から、顔の回転に係る情報を生成してよい。顔の回転に係る情報は、顔方向を含んでよい。また、配信者端末は、動画から、顔の位置の情報を生成してよい。すなわち、配信者端末は、動画から、モーションに係る情報を生成してよく、かかるモーションに係る情報は、顔の表情に係る情報、及び／又は、顔の位置及び回転に係る情報を含んでよい。また、配信者端末は顔の表情を撮像可能な撮像装置を備えてよく、顔の表情を撮像した配信者端末は、かかる顔の動画画像から、表情を特定する複数に区分された情報の一又は複数を特定する情報を生成してよい。表情を特定する複数の区分は予め定められてよい。また、表情の特定は、眉毛の各位置、目、鼻、唇の輪郭などの顔の一部の動きが、所定の動きである場合に、予め定められた表情の一であると特定されるものであって良い。また、かかる表情を設定する情報は、配信者に対して、パラメータなどがキャリブレーションによって設定されたものを用いて、設定されてよい。また、配信者端末は、これらの撮像情報に基づいた、モーションに係る情報を、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。また、配信者端末も、入力装置３４として、音を取得可能なマイクを含んでよく、配信者が演じる際の音声を取得してよい。なお、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、配信者端末も、演算装置３１によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
また、視聴者端末及び配信者端末における出力装置３６は、表示装置、音発生装置であってよい。表示装置は、表示可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイ、ヘッドマウントディスプレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、スピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置３６で出力される情報は、演算装置３１において生成された情報であってもよいし、通信網１０から受信した情報であってもよい。
３．各装置の機能
次に、本願発明に係るシステムの機能の一例について、図３を参考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図である。図３に示すように、一例のシステムは、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を送信する送信部４２と、少なくとも前記取得したモードに対応する情報を受信する受信部４３と、前記取得したモードが第２モードである場合にアニメーションを生成する生成部４４と、の一部又は全部を有してよい。例えば、配信者端末は、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を送信する送信部４２と、を有してよい。また、管理サーバは、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を送信する送信部４２と、を有してよい。また、管理サーバは、配信者端末から送信された情報を受信する受信部４３を有してよい。また、視聴者端末は、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を受信する受信部４３と、前記取得したモードが第２モードである場合にアニメーションを生成する生成部４４と、を有してよい。
次に、本願発明に係るシステムの機能の一例について、図３を参考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図である。図３に示すように、一例のシステムは、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を送信する送信部４２と、少なくとも前記取得したモードに対応する情報を受信する受信部４３と、前記取得したモードが第２モードである場合にアニメーションを生成する生成部４４と、の一部又は全部を有してよい。例えば、配信者端末は、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を送信する送信部４２と、を有してよい。また、管理サーバは、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を送信する送信部４２と、を有してよい。また、管理サーバは、配信者端末から送信された情報を受信する受信部４３を有してよい。また、視聴者端末は、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を受信する受信部４３と、前記取得したモードが第２モードである場合にアニメーションを生成する生成部４４と、を有してよい。
２．１．切替部４１
切替部４１は、視聴者端末への配信のモードの変更を管理する機能を有する。切替部４１は、第１のモードと、第２のモードと、を切り替える機能を有してよい。ここで、第１のモードは、配信者がアバターとして登場する映像に係り、かかる映像を配信するモード又はかかる配信された映像を受信して、表示するモードであってよい。他方、第２のモードは、配信者がアバターとして登場するアニメーションが生成されるモードに係り、かかるアニメーションの生成に必要な情報を生成するモード、又は、かかるアニメーションの生成に必要な情報を受信してかかるアニメーションの生成に必要な情報からアニメーションを生成し、表示するモードであってよい。第１のモードと第２のモードの切り替えが可能とされることにより、視聴に関連する状況に応じて、より適切な選択が可能となる利点がある。特に、第２のモードは、後述するとおり、視聴者端末においてアニメーションを生成することになることから、処理の分散が可能となる利点がある。なお、本願書類において、配信者端末に係るアバターオブジェクトとかかるアバターオブジェクトの動きを表現可能なモーションに係る情報とを合成することによって視聴者端末において生成されるアニメーションを、単に「アニメーション」ということもある。他方、かかるアバターオブジェクトを用いた映像を、配信者端末又は管理サーバにおいて生成した場合の映像を、単に「映像」ということもある。なお、切替部４１は他のモードを選択できる機能を有してよい。
切替部４１は、視聴者端末への配信のモードの変更を管理する機能を有する。切替部４１は、第１のモードと、第２のモードと、を切り替える機能を有してよい。ここで、第１のモードは、配信者がアバターとして登場する映像に係り、かかる映像を配信するモード又はかかる配信された映像を受信して、表示するモードであってよい。他方、第２のモードは、配信者がアバターとして登場するアニメーションが生成されるモードに係り、かかるアニメーションの生成に必要な情報を生成するモード、又は、かかるアニメーションの生成に必要な情報を受信してかかるアニメーションの生成に必要な情報からアニメーションを生成し、表示するモードであってよい。第１のモードと第２のモードの切り替えが可能とされることにより、視聴に関連する状況に応じて、より適切な選択が可能となる利点がある。特に、第２のモードは、後述するとおり、視聴者端末においてアニメーションを生成することになることから、処理の分散が可能となる利点がある。なお、本願書類において、配信者端末に係るアバターオブジェクトとかかるアバターオブジェクトの動きを表現可能なモーションに係る情報とを合成することによって視聴者端末において生成されるアニメーションを、単に「アニメーション」ということもある。他方、かかるアバターオブジェクトを用いた映像を、配信者端末又は管理サーバにおいて生成した場合の映像を、単に「映像」ということもある。なお、切替部４１は他のモードを選択できる機能を有してよい。
切替部４１は、選択された、第１のモード又は第２のモードの情報を取得する機能を有してよい。切替部４１は、第１のモードが選択された場合は、映像を送信するよう設定、又は、映像を受信して映像を表示するよう設定、してよい。切替部４１は、第２のモードが選択された場合は、アニメーションの生成に必要な情報を生成、又は、かかるアニメーションの生成に必要な情報を受信してかかるアニメーションの生成に必要な情報からアニメーションを生成し表示してよい。
切替部４１は、第１のモード又は第２のモードを、視聴者端末から取得してもよいし、配信者端末から取得してもよいし、かかる配信を管理するサーバ等から取得してもよい。また、第１のモード又は第２のモードの情報を、切替部４１が備わっている情報処理装置と同じ情報処理装置から取得してもよいし、切替部４１が備わっている情報処理装置と異なる情報処理装置から取得してもよい。なお、第１のモード又は第２のモードの選択の情報は、視聴者端末においては視聴者の選択によって取得してもよいし、配信者端末においては配信者の選択によって取得してもよいし、管理サーバにおいては管理者の選択によって取得してもよいし、視聴者端末・配信者端末・管理サーバのいずれにおいても自動的に選択がなされてもよい。自動的な選択は、例えば、前記視聴者端末に係る情報に基づいて生成された、前記アニメーションの生成に必要な情報を用いて、選択されてよい。例えば、前記アニメーションの生成に必要な情報を送信する対象となる視聴者端末の端末数を用いて、管理サーバは、前記アニメーションの生成に必要な情報を、視聴者端末に送信してもよい。より具体的には、管理サーバは、対象となるアニメーションを視聴する視聴者端末が、所定の数以下の場合、第２のモードを選択し、対象となるアニメーションを視聴する視聴者端末が、所定の数を超えている場合、第１のモードを選択してよい。これは、後述するアニメーションの生成の処理は、処理の分散が可能である一方、同期を取る必要があるため、接続されている視聴端末の数が一定の端末数以下の場合にのみ送信する場合に効率的に処理できるためである。なお、一の管理サーバが送信する視聴者端末の数が所定の数以上である場合、管理サーバは、接続された視聴者端末が１台目から所定の数までの視聴者端末に対してはアニメーションを生成するのに必要な情報を送信し、その他の所定の数を超える視聴者端末に対しては映像を送信してよい。かかる構成により、所定の数までの視聴者端末に対しては、分散処理が可能となる利点がある。
また、視聴者端末に係る情報は、前記視聴者端末に係る通信のレイテンシ、前記視聴者端末に係るＣＰＵ、及び／又は、前記視聴者端末上で実行されているアプリケーション数を含んでよい。例えば、視聴者端末に係る通信のレイテンシが所定の量以下の場合、アニメーションの生成に必要な情報を送信し、視聴者端末に係る通信のレイテンシが所定の量を超えている場合、映像を送信してよい。レイテンシが所定の量以下の場合、視聴者端末においてアニメーションの生成に必要な情報が同期を取って受信できるためである。また、視聴者端末の有するCPUが所定の数以上の場合、アニメーションの生成に必要な情報を送信し、視聴者端末の有するCPUが所定の数未満の場合、映像を送信してよい。視聴者端末において分散処理の可能なCPUの数を有する視聴者端末である場合に、アニメーションの生成を視聴者端末において分散処理することが可能となる利点がある。また、視聴者端末上で実行されているアプリケーションの数が所定の数以下の場合、アニメーションの生成に必要な情報を送信し、視聴者端末上で実行されているアプリケーションの数が所定の数未満の場合、映像を送信してよい。視聴者端末において分散処理の可能な状態のアプリケーションの数が実行されている場合に、アニメーションの生成を視聴者端末において分散処理することが可能となる利点がある。
また、切替部４１は、配信者端末において機能してもよいし、管理サーバにおいて機能してもよいし、視聴者端末において機能してもよい。配信者端末又は管理サーバにおける切替部４１によって、通信の状況や、視聴者端末の状況に応じて、第１のモード又は第２のモードの選択や両方のモードによる映像とアニメーションの送信を、選択できる利点がある。例えば、視聴者端末においてアニメーションの生成の処理負担が大きい場合には、第１のモードを選択して映像の送信を行うよう処理可能である。
他方、視聴者端末において切替部４１が機能する場合、配信者端末や管理サーバからは、映像とアニメーションの生成のために必要な情報の両方が送信されている状況においても、視聴者端末でアニメーションを生成する方が、映像を受信して表示するよりも更にリアルタイムに表示が可能となる利点がある場合がある。なお、このように、視聴者端末においてアニメーションを生成する場合、配信者端末や管理者サーバから映像を配信する場合と比較して、より低遅延であり配信される映像の劣化程度が低くなり、より高画質になる利点がある。また、視聴者端末の機能が低い場合でも、アニメーションの生成ができる程度の機能を有する視聴者端末であれば、アニメーションの生成に必要な情報が通信できればアニメーションを生成できるため、映像と比較して、使用する通信量を低くできる利点がある。
なお、配信者端末や管理サーバが、配信者端末に係るアバターオブジェクトに基づく映像の配信と、かかるアバターオブジェクトに基づくアニメーションの生成に必要な情報、の両方を送る場合、配信者端末又は管理サーバは、かかる映像とアニメーションの生成に必要な情報を記憶してよい。かかる記憶がされる場合、配信されたアニメーションについての監査がしやすい利点がある。すなわち、アニメーションの生成に必要な情報としてモーションに係る情報や音などがあるが、例えば、モーションに係る情報を用いて生成されたアニメーションにエラーが生じる場合、かかるモーションに係る情報と、対応する映像とが記憶されていることにより、かかるモーションに係る情報がどのような映像に対応するのかを理解することができ、今後のエラー対処やモーションに係る情報の処理についての情報を蓄積できる利点がある。このように、映像とアニメーションの生成に必要な情報の両方を送信する場合、アバターオブジェクトに基づく処理を運営する運営側にメリットがある。
また、配信者端末や管理サーバが、アニメーションの生成に必要な情報を記録し、配信する場合、結果として、生成されたアニメーションが視聴者端末において表示されて、評価されることで、評価に関連するアニメーションの生成に必要な情報を整理できる利点がある。例えば、配信者が、アバターオブジェクトによって特定の行為を行うことにより、配信者の評価が高まるなど評価に影響があった場合、かかる特定の行為に対応するモーションに係る情報や配信者に係る音などの、配信者の評価が上がるなどの評価に影響のある情報を蓄積できる利点がある。かかる評価に影響する情報の収集は、例えば、配信者端末又は管理サーバにおいて、特定の配信者のモーションに係る情報及び／又は配信者に係る音などのアニメーションの生成に必要な情報の送信と、前記アニメーションの生成に必要な情報が用いられて生成されたアニメーションに対する視聴者数の増加などのアニメーションに対する評価の影響と、の関係に基づく相関関係によって、アニメーションの評価に対応する配信者に係る行為を推定する機能を有してよい。
２．２．送信部４２
送信部４２は、映像の送信、又は、アニメーションの生成に必要な情報、を送信する機能を有する。送信の態様は、種々のものであってよく、その手法に制約はない。例えば、自発的に情報を送信してもよいし、一の情報の受信に対応する形式で受動的に他の情報を送信してもよい。また、他の情報処理装置からのアクセスに対応して情報を送信する態様であってもよい。
送信部４２は、映像の送信、又は、アニメーションの生成に必要な情報、を送信する機能を有する。送信の態様は、種々のものであってよく、その手法に制約はない。例えば、自発的に情報を送信してもよいし、一の情報の受信に対応する形式で受動的に他の情報を送信してもよい。また、他の情報処理装置からのアクセスに対応して情報を送信する態様であってもよい。
送信部４２は、第１のモード、又は、第２のモード、の選択に応じて、対応する情報を送信してよい。すなわち、送信部４２は、切替部４１が第１のモードを取得した場合は、映像の送信を行い、切替部４１が第２のモードを取得した場合は、アニメーションの生成に必要な情報、を送信してよい。
第１のモードの場合、送信部４２は、配信者端末が取得した情報に基づいて、映像の送信をしてよい。映像は、配信者端末において、配信者がアバターとして登場したもの、に基づいて生成されてよい。かかる映像は、一又は複数の配信者端末における配信者の挙動に基づいて、生成された映像であってよい。かかる映像は、一又は複数の配信者端末における各配信者端末から取得された情報に基づいて、管理サーバなどにおいて生成されたものでもよいし、一又は複数の配信者端末における各配信者端末において生成された映像に基づいて、管理サーバなどにおいて合成されて生成された映像でもよい。
第２のモードの場合、送信部４２は、配信者端末が取得した情報に基づいて、アニメーションの生成に必要な情報を、送信してよい。アニメーションの生成に必要な情報は、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を含んでよい。
ギフトに係る情報は、ギフトの位置、及び／又は、表示されるギフトの回転角度を含んでよい。かかるギフトは、視聴者が、特定の配信者を特定する、又は、一定の場面に対して、提供できるものでよい。前者の場合、特定のアバターを特定する情報であってもよく、かかる情報に基づいてギフトの位置が特定されたものであってよい。これにより、特定の配信者に対するギフトであることが明確になる利点がある。また、ギフトは、回転することが可能である場合があり、回転可能なギフトの場合、ギフトに係る情報はギフトの回転角度を含んでよい。特に、ギフトに係る情報に基づくギフトが物理法則を用いて表示される場合、前記ギフトに係る情報は、前記ギフトが表示される位置、及び／又は、表示されるギフトの回転角度を含む、ものであってよい。物理法則は、アバターなどが、仮想空間上で動く場合において、適用される力学などの法則であってもよいが、仮想空間であることから一般的な物理法則に対して種々の省略や変形などが適用されてもよい。
ギフトに係る情報は、ギフトの種類を含んでよい。ギフトの種類は、種々のものであってよく、種類は限定されない。これは、視聴者から配信者に対し提供するものとして、種々の様々なギフトの態様が考えられるところであるが、本願発明に係る一実施形態は、かかるギフトの種類に限定されない。なお、特に、前記ギフトに係る情報に基づくギフトが疑似ランダム性を用いて表示される場合、前記ギフトに係る情報は、前記ギフトの種類を含む、ものであってよい。また、前記ギフトに係る情報に基づくギフトが疑似ランダム性を用いて表示される場合、前記ギフトに係る情報は、前記ギフトの種類のみである、ものであってよい。また、前記ギフトに係る情報に基づくギフトが疑似ランダム性を用いて表示処理される場合、前記ギフトに係る情報は、前記ギフトの種類と前記疑似ランダム性のシードを含む、ものであってよい。疑似ランダム性及び疑似ランダム性のシードは、後述する。
なお、ギフトに係る情報は、視聴者端末に基づくものであるため、視聴者端末から直接送信されたものでもよいし、管理サーバなどを介して間接的に送信されるものであってもよい。
音は、配信者端末に基づくものでもよいし、視聴者端末に基づくものでもよく、管理サーバを介してもよいし、介さなくてもよい。
また、送信部４２は、第２のモードにおいて、配信者が演じるアバターを特定する識別情報を特定する情報を、送信してよい。かかる識別情報を受信した側は、予め受信している３Dモデルデータのうち、受信した識別情報に対応するモデルデータに対して、前記モーションに係る情報を適用する処理を行うことによって、かかる配信者が演じるアバターが、アニメーション内でも対応して演じるよう、処理が可能となる利点がある。
送信部４２は、配信者端末、及び／又は、管理サーバ、において、機能してよい。
２．３．受信部４３
受信部４３は、映像の受信、又は、アニメーションの生成に必要な情報、を受信する機能を有する。受信の態様は、種々のものであってよく、その手法に制約はない。例えば、送信された情報を受信するものでもよいし、他の情報処理装置に対して情報をアクセスし、そのアクセスに対応して送信された情報を受信するものでもよい。
受信部４３は、映像の受信、又は、アニメーションの生成に必要な情報、を受信する機能を有する。受信の態様は、種々のものであってよく、その手法に制約はない。例えば、送信された情報を受信するものでもよいし、他の情報処理装置に対して情報をアクセスし、そのアクセスに対応して送信された情報を受信するものでもよい。
受信部４３は、送信部４２と対応して、送信部４２が送信した情報を、対応して、受信してよい。すなわち、受信部４３は、第１のモード、又は、第２のモード、の選択に応じて、対応する情報を受信してよい。受信部４３は、切替部４１が第１のモードを取得した場合は、映像を受信し、切替部４１が第２のモードを取得した場合は、アニメーションの生成に必要な情報、を受信してよい。
第１のモードの場合、受信部４３は、映像の受信をしてよい。かかる映像は、一又は複数の配信者端末における配信者の挙動に基づいて、生成された映像であってよい。かかる映像は、一又は複数の配信者端末における各配信者端末から取得された情報に基づいて、管理サーバなどにおいて生成されたものでもよいし、一又は複数の配信者端末における各配信者端末において生成された映像に基づいて、管理サーバなどにおいて合成されて生成された映像でもよい。
第２のモードの場合、受信部４３は、アニメーションの生成に必要な情報を、受信してよい。アニメーションの生成に必要な情報は、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を含んでよい。ギフトに係る情報、音、については、上述と同様であってよい。
受信部４３は、管理サーバ、又は、視聴者端末、において機能してよい。
２．４．生成部４４
生成部４４は、受信したアニメーションの生成に必要な情報を用いて、アニメーションの生成をする機能を有する。生成部４４は、視聴者端末内において、機能してよい。
生成部４４は、受信したアニメーションの生成に必要な情報を用いて、アニメーションの生成をする機能を有する。生成部４４は、視聴者端末内において、機能してよい。
生成部４４は、上述のアニメーションの生成に必要な情報を用いて、アニメーションを生成する。生成部４４は、アニメーションの生成に必要な情報として取得した、アバターオブジェクトの動きを表現可能なモーションに係る情報と、予め受信している３Dモデルデータのうち、受信した識別情報に対応するモデルデータと、を用いて、アバターオブジェクトの動きを表現し、アニメーションを生成してよい。すなわち、生成部４４は、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、予め受信している３Dモデルデータのうち、受信した識別情報に対応するモデルデータに対して、前記モーションに係る情報を適用する処理によって、アニメーションを生成してよい。
また、生成部４４は、受信部４３が受信した音を用いて、アニメーションを生成してよい。音は、配信者端末から取得した、配信者が演じる音を含んでもよく、また、視聴者端末から取得した、視聴者がアバターオブジェクトの演出に対して提供した音を含んでもよい。いずれの音についても、視聴者端末において受信し、これらが用いられてアニメーションが生成されてよい。
また、生成部４４は、受信した、ギフトに係る情報を用いて、アニメーションを生成してよい。ギフトは、視聴者が、一の配信者に係る一のアバターオブジェクト又は、複数の配信者に係る複数のアバターオブジェクトが演じる場面に対して、提供されるものであってよい。すなわち、ギフトに係る情報は、アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるものであってよい。
ギフトは、種々の態様のものであってよいが、アバターオブジェクトが演じてギフトが提供される仮想空間において、ギフトは、仮想空間内の物理法則が適用されて、演出されてよい。例えば、仮想空間内の物理法則としては、例えば、ニュートン力学があげられ、物が上から下に落ちたり、ある速度で動いている物が慣性運動をしたり、また、摩擦や抵抗によって物の移動の速度が減少する、などであってよい。そして、ギフトに係る情報に基づくギフトが物理法則を用いて表示される場合、前記ギフトに係る情報は、前記ギフトが表示される位置、及び／又は、表示されるギフトの回転角度を含むものであってよく、アニメーションの生成においては、かかるギフトに係る情報として、ギフトを、表示される位置から物理法則を用いてアニメーションを生成し、また、表示されるギフトが回転されるものである場合、その回転の最初の位置である回転角度が用いられて、アニメーションが生成されてよい。なお、ギフトに係る情報として、そのほか、ギフトのギフトが表示される位置、表示されるギフトの大きさ、ギフトの表示される上下左右方向等の向き、ギフトの移動の初速度、ギフトの移動の上下左右方向等の向き、ギフトの移動の加速度、などの一部又は全部を含んでよい。かかるギフトに係る情報が含まれることによって、ギフトを、配信者端末内において表現の種類を増加できてよい。
また、ギフトのアニメーションは、疑似ランダム性が用いられて、アニメーションが生成されてもよい。ここで、疑似ランダム性とは、真のランダム性が数学的に実現できないことから、計算機内の演出として真のランダムを模して演出するための性質を意味するものであり、真のランダム性を模した種々の関数を用いるものにより実現されるものであってよい。ギフトのアニメーションが疑似ランダム性を持つ場合、ギフトの演出において、ギフトのギフトが表示される位置、表示されるギフトの大きさ、ギフトの表示される上下左右方向等の向き、ギフトの移動の初速度、ギフトの移動の上下左右方向等の向き、ギフトの移動の加速度、などの一部又は全部が疑似ランダム性によって決定されてよい。かかる場合、配信者端末又は管理サーバから、視聴者端末に、これらの情報を細かく通信する必要がないため、通信の情報量が減少する利点がある。特に、ギフトの種類のみが、視聴者端末に対して通信されるため、通信量を減少できる利点がある。なお、疑似ランダム性を用いた場合、視聴者端末毎に異なるアニメーションを作成できる利点がある。また、疑似ランダム性のシードが、視聴者端末に送信される場合、疑似ランダム性にバリエーションを適用できる利点がある。上述の通り、数学的に真のランダム性を表現できないことから、同一の関数を使用し続けると、ランダム性のないアニメーションが繰り返し表示されることとなり、バラエティに欠けることがある。疑似ランダム性のシードを用いることにより、疑似ランダム性におけるランダム性が向上し、よりバラエティのあるアニメーションが可能になる利点がある。なお、シードは、ギフトの種類毎に、割り当てられるものであって良い。また、シード自体も、疑似ランダムな関数によって計算されたものであってもよい。かかる疑似ランダム性のシードは、管理サーバ又は配信者端末から、視聴者端末に送信され、疑似ランダム性の関数が適用される際の一のパラメータとして利用されてよい。
なお、ギフトは、上述では、視聴者端末内において、物理法則がある場合について説明したが、視聴者端末内において物理法則がない場合であってもよい。この場合、ギフトの位置情報と回転情報が、配信者端末又は管理者サーバから伝達されることによって、いわば、物理法則が適用された結果としての、ギフトの位置情報と回転情報とを用いて、ギフトの描画を配信者端末においてしてもよい。この場合、配信者端末において、物理法則に関する処理を行う必要がない利点がある。
なお、生成部４４は、受信したギフトに係る情報を所定の場合において、アニメーションの生成に使用しない、という処理としてもよいし、これに対応して、受信部４３は、所定の場合、ギフトに係る情報を受信しない、又は、送信部４２は、所定の場合に、ギフトに係る情報を送信しない、と処理してもよい。例えば、あるギフトの表示が３秒である場合において、残り０．１秒の段階でアニメーションの視聴を開始した視聴者端末ではかかるギフトの表示を行わない処理とする情報としてよい。これにより、描画の時間が所定時間以上残っていない場合は、実際に描画して演出する処理の意義が低いと考えられるためである。したがって、所定の場合としては、ギフトに係る情報におけるギフトの描画時間が、所定時間よりも短い場合、などであってよい。
アニメーションの生成に必要な情報は、サービスデータに係る情報、及び／又は、カメラワークに係る情報を含んでよい。生成部４４は、サービスデータに係る情報、及び／又は、カメラワークに係る情報を用いて、アニメーションを生成してよい。
サービスデータに係る情報は、配信者のコメント、視聴者のコメント、及び／又は、前記アニメーションの視聴者数、を含んでよい。配信者のコメントは、配信者が発するコメントであってよい。また、視聴者のコメントは、アニメーションを視聴する視聴者のコメントであってよい。
配信者のコメントは、配信者端末において入力又は生成されたコメントであってよい。かかるコメントは、入力又は生成された配信者端末から、アニメーションが生成される生成部４４を有する視聴者端末に、直接的に通信されてもよいし、間接的に通信されてもよい。間接的な通信は、例えば、管理サーバを経て、通信される態様であってよい。一又は複数の配信者がいる場合、かかる一又は複数の配信者に基づく、一又は複数の配信者端末からのコメントが、サービスデータに係る情報として、視聴者端末に通信されてよい。かかる配信者のコメントは、コメントを発した配信者と関連付けられて、視聴者端末に通信されてよく、視聴者端末において、関連付けられた配信者を示す情報と関連付けられて、かかるコメントが表示されてよい。
視聴者のコメントも、同様に、視聴者端末において入力又は生成されたコメントであってよい。かかるコメントは、入力又は生成された視聴者端末から、アニメーションが生成される生成部４４を有する視聴者端末に、直接的に通信されてもよいし、間接的に通信されてもよい。間接的な通信は、例えば、管理サーバを経て、通信される態様であってよい。アニメーションを視聴する一又は複数の視聴者について、かかる一又は複数の視聴者に基づく、一又は複数の視聴者端末からのコメントが、サービスデータに係る情報として、視聴者端末に通信されてよい。
視聴者のコメントが入力された視聴者端末と、かかる視聴者のコメントに基づいて生成されたアニメーションを表示する視聴者端末と、が異なる視聴者端末である場合、視聴者のコメントが入力された視聴者端末から、かかる視聴者のコメントを、直接的又は間接的に、かかる視聴者のコメントに基づいて生成されたアニメーションを表示することになる視聴者端末に送信し、かかる視聴者端末内の生成部４４は、受信した視聴者のコメントを、サービスデータに係る情報として、かかる視聴者のコメントとそのコメントを作成した視聴者とを含むアニメーションを生成し、かかる視聴者端末において表示してよい。この場合、視聴者は、他の視聴者が入力したコメントを、アニメーション内の表示により理解できる。
また、視聴者のコメントが入力された視聴者端末と、かかる視聴者のコメントに基づいて生成されたアニメーションを表示する視聴者端末と、が同一の視聴者端末である場合、かかる視聴者端末内の生成部４４は、入力された視聴者のコメントを、サービスデータに係る情報として、かかる視聴者のコメントとそのコメントを作成した視聴者とを含むアニメーションを生成し、かかる視聴者端末において表示してよい。この場合、視聴者は、自ら入力したコメントが、アニメーション内で表示されることを理解できる。
また、視聴者のコメントは、コメントを入力した配信者と関連付けられて、視聴者端末に通信されてよく、視聴者端末において、関連付けられた配信者を示す情報と関連付けられて、かかるコメントと関連付けられた配信者を示す情報が表示されてよい。
アニメーションの視聴者数は、アニメーションを視聴している視聴者を推定できる数であればよく、例えば、生成されたアニメーションを表示している視聴者端末数や、アニメーションに生成に必要な情報を受信している視聴者端末数、又は、かかるアニメーションの生成に必要な情報を受信できるよう管理サーバや配信者端末に要求する要求信号を送信している視聴者端末数、であってよい。
管理サーバがアニメーションの生成に必要な情報の要求を視聴者端末から取得した場合においては、かかる要求を行う視聴者端末の数を管理サーバが合算することにより、かかる視聴者数を算出してよい。
また、配信者端末がアニメーションの生成に必要な情報の要求を視聴者端末から取得した場合においては、かかる要求を行う視聴者端末の数を、同一のアニメーションにおいて配信する配信者端末同士の間で共有又は一の配信者端末に連絡することにより、かかる視聴者数を算出してよい。
また、アニメーションの視聴者数は、一のアニメーションにおいて、リアルタイムに算出してよい。これにより、時々刻々と変化するアニメーションの視聴者数について、リアルタイムに算出し、表示できることとなり、視聴者は、アニメーションの視聴者数の多寡を理解できる利点がある。なお、かかるアニメーションの視聴者数は、視聴者端末において、ランキングされてもよい。例えば、各アニメーションに対応して視聴者数を関連付けることにより、視聴者数の多い順や少ない順などのアニメーションを表示してよい。これにより、視聴者は、視聴者数という人気度によって、アニメーションを評価できる利点がある。
また、サービスデータに係る情報は、配信者の視聴者に対するアクションを含んでよい。例えば、サービスデータに係る情報は、配信者が、視聴者のプロフィールを見るアクションを含んでよい。この場合、配信者が、かかる配信者を視聴する複数の視聴者の中の一の視聴者を選択し、かかる選択された視聴者を見るアクションが、かかる配信者に係るアバターオブジェクトを視聴する視聴者端末に伝達されてよい。これにより、配信者がどの視聴者に興味を有しているかを、他の視聴者も共有することができる利点がある。特に、配信者端末において、アニメーションの生成を行う場合、遅延が減少し、例えば、数秒以内で表示可能になるため、映像の場合のように遅延が生じる場合と比較して、配信者のレスポンスをよりリアルタイムに近いタイミングで、共有できる利点がある。
また、サービスデータに係る情報は、他の情報を含んでもよい。サービスデータに係る情報は、例えば、視聴者が配信者又は配信者が提供するものに対して肯定的評価を与える「いいね」の数、視聴者が特定のイベントにおける所属チームを示すアイコン、かかるイベントにおける順位の情報、及び／又は、コラボ配信におけるゲストの数などを含んでもよい。ここで、「いいね」の数は、視聴者から提供された「いいね」の数の合計の数であってよい。また、所属チームを示すアイコンは、配信者の所属する所属チームのものであってもよいし、視聴者の所属する所属チームのものであってもよい。また、かかるイベントにおける順位の情報は、イベントにおける一の配信者の順位の情報であってもよいし、かかるイベントに参加する視聴者の順位の情報であってもよい。
カメラワークに係る情報は、配信者を撮像する手法に関する情報であってよい。撮像の手法に関する情報は、例えば、配信者を撮像する角度、配信者を撮像する距離、配信者を撮像する撮像技術、などであってよい。配信者を撮像する角度は、撮影角度を示す種々の手法によって特定されてよい。また、配信者を撮像する距離も、距離を示す種々の方法によって特定されてよく、所定の絶対距離によって特定されてもよいし、所定の基準の距離に対する相対的な距離によって特定されてもよい。また、配信者を撮像する技術として、パン、チルト、などの技術が利用されてもよい。かかるカメラワークに係る情報は、視聴者端末において、アニメーションを生成する際に用いられてよい。特に、視聴者端末におけるカメラワークが配信者端末におけるカメラワークを模すことができるよう、配信者端末から伝達されたカメラワークに係る情報を用いて、視聴者端末における配信者の演じるアバターオブジェクトを表示する方法を特定してよい。
配信者を撮像する手法に関する情報は、予め配信者端末と、サーバと、視聴者端末において、予めルールが定められており、かかるルール内において、撮像する手法を特定する情報が伝達されることにより、配信者端末における配信者を撮像する手法が、視聴者端末側に、アニメーションの作成時に利用されてよい。
生成部４４は、上述のとおりの、種々のアニメーションの生成に必要な情報を用いて、アニメーションを生成してよい。図４は、アニメーションの生成に必要な種々の情報の一例を概括的に示すものである。アニメーションの生成にあたり、一又は複数の配信者端末からの情報を用いてよく、また、一又は複数の視聴者端末からの情報を用いてよい。また、かかる生成は、リアルタイムに行われてよい。また、生成されたアニメーションは、生成した視聴者端末において、表示されてよい。
４．実施形態
４－１．実施形態１
実施形態１は、配信者端末において、情報を送信する実施態様である。本実施形態は、図５のような、配信者端末５１Ａ及び５１Ｂと、サーバ装置５０と、視聴者端末５２Ａ及び５２Ｂ、からなる全体のシステムにおいて、主に、配信者端末５１Ａにおいて処理される動作となる。以下、図６を参照して、本実施形態の流れを説明する。
４－１．実施形態１
実施形態１は、配信者端末において、情報を送信する実施態様である。本実施形態は、図５のような、配信者端末５１Ａ及び５１Ｂと、サーバ装置５０と、視聴者端末５２Ａ及び５２Ｂ、からなる全体のシステムにおいて、主に、配信者端末５１Ａにおいて処理される動作となる。以下、図６を参照して、本実施形態の流れを説明する。
ステップ１
配信者端末内の切替部４１が、第１のモード又は第２のモードのいずれかの情報を、取得する。（ステップ００１）。モードの選択に関する情報は、サーバから取得してもよいし、配信者端末から取得してもよいし、視聴者端末から取得してもよい。
配信者端末内の切替部４１が、第１のモード又は第２のモードのいずれかの情報を、取得する。（ステップ００１）。モードの選択に関する情報は、サーバから取得してもよいし、配信者端末から取得してもよいし、視聴者端末から取得してもよい。
ステップ２
一又は複数の配信者が、アバターとして、アバターオブジェクトを用いて仮想空間上で演じる（ステップ００２）。なお、アバターの演じている途中において、上述のモードに関する情報を取得してもよい。
一又は複数の配信者が、アバターとして、アバターオブジェクトを用いて仮想空間上で演じる（ステップ００２）。なお、アバターの演じている途中において、上述のモードに関する情報を取得してもよい。
ステップ３
各配信者に対応付けられている配信者端末は、配信者の演じる状況に係る情報を取得する（ステップ００３）。配信者端末は、上述の種々のセンサーや撮像装置などを利用して、演じる配信者の情報を取得してよい。
各配信者に対応付けられている配信者端末は、配信者の演じる状況に係る情報を取得する（ステップ００３）。配信者端末は、上述の種々のセンサーや撮像装置などを利用して、演じる配信者の情報を取得してよい。
ステップ４
送信部４２は、モードに対応する情報を、送信する（ステップ００４）。すなわち、第１のモードであれば、配信者の演じるアバターオブジェクトの動きが埋め込まれた映像を送信し、第２のモードであれば、配信者の演じるアバターオブジェクトの動きを表現可能なモーションに係る情報と、かかる配信者が発する音の情報と、を送信してよい。なお、第１のモードの場合には、モーションに係る情報を送信しなくてよく、また、第２のモードの場合には、アバターオブジェクトの動きが埋め込まれた情報を、送信しなくてもよい。特に前者のように、第２のモードにおいて、モーションに係る情報と音を送るのみで、アバターオブジェクトの動きが埋め込まれた映像を送らない場合、かかる映像を生成する処理が不要となるため、低遅延の処理が可能となる利点がある。なお、本実施例においては、モードに対応する情報のみを送る構成とされているが、第１モードと第２のモードの両方視聴者端末がいる場合などにおいては、上述のモードによらず又は第３のモードなどとして、配信者端末は、映像とモーションに係る情報などと、のいずれの情報を送ってもよい。この場合は、第１のモードと第２のモードの両方のモードの視聴者端末に対応できる利点がある。
送信部４２は、モードに対応する情報を、送信する（ステップ００４）。すなわち、第１のモードであれば、配信者の演じるアバターオブジェクトの動きが埋め込まれた映像を送信し、第２のモードであれば、配信者の演じるアバターオブジェクトの動きを表現可能なモーションに係る情報と、かかる配信者が発する音の情報と、を送信してよい。なお、第１のモードの場合には、モーションに係る情報を送信しなくてよく、また、第２のモードの場合には、アバターオブジェクトの動きが埋め込まれた情報を、送信しなくてもよい。特に前者のように、第２のモードにおいて、モーションに係る情報と音を送るのみで、アバターオブジェクトの動きが埋め込まれた映像を送らない場合、かかる映像を生成する処理が不要となるため、低遅延の処理が可能となる利点がある。なお、本実施例においては、モードに対応する情報のみを送る構成とされているが、第１モードと第２のモードの両方視聴者端末がいる場合などにおいては、上述のモードによらず又は第３のモードなどとして、配信者端末は、映像とモーションに係る情報などと、のいずれの情報を送ってもよい。この場合は、第１のモードと第２のモードの両方のモードの視聴者端末に対応できる利点がある。
４－２．実施形態２
実施形態２は、サーバにおける処理の実施形態である。具体的には、図５においては、サーバ装置５０における処理を中心に説明するが、情報の出所である配信者端末における配信者の演じる状況も含めて説明する。本実施形態の流れを、図７を用いて説明する。
実施形態２は、サーバにおける処理の実施形態である。具体的には、図５においては、サーバ装置５０における処理を中心に説明するが、情報の出所である配信者端末における配信者の演じる状況も含めて説明する。本実施形態の流れを、図７を用いて説明する。
ステップ１
一又は複数の配信者が演じている状況を、各配信者に対応する配信者端末において、情報を取得する（ステップ００１）。配信者端末は、上述の種々のセンサーや撮像装置などを利用して、演じる配信者の情報を取得してよい。
一又は複数の配信者が演じている状況を、各配信者に対応する配信者端末において、情報を取得する（ステップ００１）。配信者端末は、上述の種々のセンサーや撮像装置などを利用して、演じる配信者の情報を取得してよい。
ステップ２
各配信者端末は、配信者の演じている状況に関する情報を適宜処理して、サーバに送信する（ステップ００２）。配信者端末からは、上述の第１のモード、第２のモード等にあわせて、モーションに係る情報、音、アバターオブジェクトの動きが埋め込まれた映像、が送信されてよい。
各配信者端末は、配信者の演じている状況に関する情報を適宜処理して、サーバに送信する（ステップ００２）。配信者端末からは、上述の第１のモード、第２のモード等にあわせて、モーションに係る情報、音、アバターオブジェクトの動きが埋め込まれた映像、が送信されてよい。
ステップ３
サーバは、配信者端末から、配信者の演じている情報を受信する（ステップ００３）。上述のとおり、サーバは、モードなどに合わせて、モーションに係る情報、音、アバターオブジェクトの動きが埋め込まれた映像、を受信してよい。
サーバは、配信者端末から、配信者の演じている情報を受信する（ステップ００３）。上述のとおり、サーバは、モードなどに合わせて、モーションに係る情報、音、アバターオブジェクトの動きが埋め込まれた映像、を受信してよい。
ステップ４
切替部４１は、第１のモード又は第２のモードの情報を取得する（ステップ００４）。第１のモードと第２のモードの情報は、視聴者端末、配信者端末、又は、サーバから取得してよい。この情報は、視聴者端末、配信者端末、サーバを操作する人によって手動で入力された選択に応じたものでもよいし、視聴者端末、配信者端末、サーバにおける自動的処理によって選択されたものでもよい。また、第１のモードと第２のモードは、一又は複数の配信者によって演じられている一の場面に対して、一のモードが設定されてもよいし、視聴者端末毎にモードが設定されてもよい。後者の場合、例えば、視聴者端末００１乃至１００が第２のモードで、視聴者端末１０１乃至２００が第１のモード、などのように設定されてもよい。
切替部４１は、第１のモード又は第２のモードの情報を取得する（ステップ００４）。第１のモードと第２のモードの情報は、視聴者端末、配信者端末、又は、サーバから取得してよい。この情報は、視聴者端末、配信者端末、サーバを操作する人によって手動で入力された選択に応じたものでもよいし、視聴者端末、配信者端末、サーバにおける自動的処理によって選択されたものでもよい。また、第１のモードと第２のモードは、一又は複数の配信者によって演じられている一の場面に対して、一のモードが設定されてもよいし、視聴者端末毎にモードが設定されてもよい。後者の場合、例えば、視聴者端末００１乃至１００が第２のモードで、視聴者端末１０１乃至２００が第１のモード、などのように設定されてもよい。
ステップ５
一又は複数の配信者端末から取得した情報を用いて、第１のモードである視聴者端末に対しては、かかる一又は複数の配信者が演じるアバターオブジェクトの埋め込まれた映像を生成し、第２のモードである視聴者端末に対しては、モーションに係る情報や音などのアニメーションの生成に必要な情報を生成する（ステップ００５）。なお、かかるステップは、配信者端末から取得した情報そのままでもよいし、情報の整合、データ構造の変更、パケットの時間的整合等の処理を行ってもよい。
一又は複数の配信者端末から取得した情報を用いて、第１のモードである視聴者端末に対しては、かかる一又は複数の配信者が演じるアバターオブジェクトの埋め込まれた映像を生成し、第２のモードである視聴者端末に対しては、モーションに係る情報や音などのアニメーションの生成に必要な情報を生成する（ステップ００５）。なお、かかるステップは、配信者端末から取得した情報そのままでもよいし、情報の整合、データ構造の変更、パケットの時間的整合等の処理を行ってもよい。
ステップ６
サーバは、視聴者端末の各モードに合わせて、情報を送信する（ステップ００６）。すなわち、第１のモードの視聴者端末に対しては、アバターオブジェクトの埋め込まれた映像を送信し、第２のモードの視聴者端末に対しては、アニメーションの生成に必要な情報を送信する。なお、本実施形態においても、実施形態１と同様に、第１のモードであれば、配信者の演じるアバターオブジェクトの動きが埋め込まれた映像を送信し、第２のモードであれば、配信者の演じるアバターオブジェクトの動きを表現可能なモーションに係る情報と、かかる配信者が発する音の情報と、を送信してよい。そして、第１のモードの場合には、モーションに係る情報を送信しなくてよく、また、第２のモードの場合には、アバターオブジェクトの動きが埋め込まれた情報を、送信しなくてもよい。特に前者のように、第２のモードにおいて、モーションに係る情報と音を送るのみで、アバターオブジェクトの動きが埋め込まれた映像を送らない場合、かかる映像を生成する処理が不要となるため、低遅延の処理が可能となる利点がある。なお、本実施例においては、モードに対応する情報のみを送る構成とされているが、第１モードと第２のモードの両方視聴者端末がいる場合などにおいては、上述のモードによらず又は第３のモードなどとして、配信者端末は、映像とモーションに係る情報などと、のいずれの情報を送ってもよい。この場合は、第１のモードと第２のモードの両方のモードの視聴者端末に対応できる利点がある。
サーバは、視聴者端末の各モードに合わせて、情報を送信する（ステップ００６）。すなわち、第１のモードの視聴者端末に対しては、アバターオブジェクトの埋め込まれた映像を送信し、第２のモードの視聴者端末に対しては、アニメーションの生成に必要な情報を送信する。なお、本実施形態においても、実施形態１と同様に、第１のモードであれば、配信者の演じるアバターオブジェクトの動きが埋め込まれた映像を送信し、第２のモードであれば、配信者の演じるアバターオブジェクトの動きを表現可能なモーションに係る情報と、かかる配信者が発する音の情報と、を送信してよい。そして、第１のモードの場合には、モーションに係る情報を送信しなくてよく、また、第２のモードの場合には、アバターオブジェクトの動きが埋め込まれた情報を、送信しなくてもよい。特に前者のように、第２のモードにおいて、モーションに係る情報と音を送るのみで、アバターオブジェクトの動きが埋め込まれた映像を送らない場合、かかる映像を生成する処理が不要となるため、低遅延の処理が可能となる利点がある。なお、本実施例においては、モードに対応する情報のみを送る構成とされているが、第１モードと第２のモードの両方視聴者端末がいる場合などにおいては、上述のモードによらず又は第３のモードなどとして、配信者端末は、映像とモーションに係る情報などと、のいずれの情報を送ってもよい。この場合は、第１のモードと第２のモードの両方のモードの視聴者端末に対応できる利点がある。
４－３．実施形態３
実施形態３は、視聴者端末における実施形態である。具体的には、図５においては、視聴者端末５２Ａ又は５２Ｂにおける処理である。本実施形態の流れを、図８を用いて説明する。
実施形態３は、視聴者端末における実施形態である。具体的には、図５においては、視聴者端末５２Ａ又は５２Ｂにおける処理である。本実施形態の流れを、図８を用いて説明する。
ステップ１
切替部４１は、第１のモード又は第２のモードの情報を取得する（ステップ００１）。第１のモード又は第２のモードの情報は、配信者端末、サーバ、視聴者端末、のいずれから取得してもよい。この情報は、視聴者端末、配信者端末、サーバを操作する人によって手動で入力された選択に応じたものでもよいし、視聴者端末、配信者端末、サーバにおける自動的処理によって選択されたものでもよい。また、上述のように、第１のモードと第２のモードは、一又は複数の配信者によって演じられている一の場面に対して、一のモードが設定されてもよいし、視聴者端末毎にモードが設定されてもよい。後者の場合の視聴者端末毎に第１のモード又は第２のモードが設定される場合において、かかるモードを設定する切替部４１を有する視聴者端末に係る情報のみに基づいて設定されてもよいし、かかるモードを設定する切替部４１を有する視聴者端末以外の他の視聴者端末に係る情報を用いて設定されてもよい。後者の場合、一又は複数の配信者が登場する配信情報（アニメーション又は映像等）が視聴される視聴者端末に係る情報に基づいて、設定されてよい。かかる場合、一の配信情報が視聴される視聴者端末と接続されるサーバにおいて、視聴者端末に係る情報を取得し、第１のモード又は第２のモードを視聴者端末毎に選択し、対象となる視聴者端末に対してかかるモードを送信して各視聴者端末に第１のモード又は第２のモードの情報を伝達してよい。
切替部４１は、第１のモード又は第２のモードの情報を取得する（ステップ００１）。第１のモード又は第２のモードの情報は、配信者端末、サーバ、視聴者端末、のいずれから取得してもよい。この情報は、視聴者端末、配信者端末、サーバを操作する人によって手動で入力された選択に応じたものでもよいし、視聴者端末、配信者端末、サーバにおける自動的処理によって選択されたものでもよい。また、上述のように、第１のモードと第２のモードは、一又は複数の配信者によって演じられている一の場面に対して、一のモードが設定されてもよいし、視聴者端末毎にモードが設定されてもよい。後者の場合の視聴者端末毎に第１のモード又は第２のモードが設定される場合において、かかるモードを設定する切替部４１を有する視聴者端末に係る情報のみに基づいて設定されてもよいし、かかるモードを設定する切替部４１を有する視聴者端末以外の他の視聴者端末に係る情報を用いて設定されてもよい。後者の場合、一又は複数の配信者が登場する配信情報（アニメーション又は映像等）が視聴される視聴者端末に係る情報に基づいて、設定されてよい。かかる場合、一の配信情報が視聴される視聴者端末と接続されるサーバにおいて、視聴者端末に係る情報を取得し、第１のモード又は第２のモードを視聴者端末毎に選択し、対象となる視聴者端末に対してかかるモードを送信して各視聴者端末に第１のモード又は第２のモードの情報を伝達してよい。
ステップ２
第１のモード又は第２のモードに合わせて、第１のモードである視聴者端末においては配信者が演じるアバターオブジェクトの埋め込まれた映像を受信し、第２のモードである視聴者端末においては、モーションに係る情報や音などのアニメーションの生成に必要な情報を受信する（ステップ００２）。
第１のモード又は第２のモードに合わせて、第１のモードである視聴者端末においては配信者が演じるアバターオブジェクトの埋め込まれた映像を受信し、第２のモードである視聴者端末においては、モーションに係る情報や音などのアニメーションの生成に必要な情報を受信する（ステップ００２）。
ステップ３
第１のモードである視聴者端末においては、受信した映像を表示し、第２のモードである視聴者端末においては、受信したアニメーションの生成に必要な情報からアニメーションを生成して表示する（ステップ００３）。なお、アニメーションには、アバターの動きの他、視聴者や配信者のコメントが表示されてよく、また、生成されたアニメーションの視聴者数や他のリアルタイムで配信されている他のアニメーションの視聴者数なども表示されてよい。
第１のモードである視聴者端末においては、受信した映像を表示し、第２のモードである視聴者端末においては、受信したアニメーションの生成に必要な情報からアニメーションを生成して表示する（ステップ００３）。なお、アニメーションには、アバターの動きの他、視聴者や配信者のコメントが表示されてよく、また、生成されたアニメーションの視聴者数や他のリアルタイムで配信されている他のアニメーションの視聴者数なども表示されてよい。
上述においては、主に、アバターが動作する仮想空間を対象とした、アニメーションや映像を説明したが、アバターが演じる場は、特定の構成を含む仮想空間であってもよい。
例えば、特定の構成を含む仮想空間としては、ゲーム画面を含む仮想空間であってもよい。ゲーム画面を含む仮想空間の場合、ゲームに対してアバターが説明などをできる利点がある。また、ゲームがリアルタイムに進行する場合に、アバターがゲームの実況中継をできる利点がある。この場合、ゲーム画面は、配信者がプレイするゲームであってもよいし、配信者以外の者がプレイするゲームのゲーム画面であってもよい。配信者がプレイするゲーム画面の場合、配信者端末から、かかるゲーム画面も送信され、管理サーバを介して又は介さずに、視聴者端末に伝達されてよい。配信者以外がプレイするゲーム画面の場合、かかるプレイする者の情報処理装置から、かかるゲーム画面が送信され、管理サーバを介して又は介さずに、視聴者端末に伝達されてよい。これらの場合において、上述の第２のモードにおいては、アニメーションの生成に必要な情報として、配信者又は配信者以外の者がプレイするゲーム画面が含まれてよく、かかる配信者又は配信者以外の者がプレイするゲーム画面を用いて視聴者端末においてアニメーションが生成されてよく、かかるアニメーションは視聴者端末において表示されてよい。また、第１のモードにおいては、ゲーム画面を含む映像が管理サーバや配信者端末において生成されてよく、かかる映像は、視聴者端末に送信され、視聴者端末においてかかるゲーム画面を含む映像が表示されてよい。第１モード及び第２モードの切り替えなどについては、上述と同様であって良い。
また、特定の構成を含む仮想空間としては、実世界を撮影したものを含む仮想空間であってもよい。実世界を撮影したものを含む仮想空間の場合、あたかも、アバターが実世界の事象の説明や実世界の特定の個所を訪問する状況を実現できる利点がある。また、実世界の撮影がリアルタイムに進行する場合、実世界の事件などの進行状況をアバターが実況中継できる利点がある。この場合、実世界を撮影したものが、アニメーションの生成に必要な情報に含まれてよい。実世界を撮影したものは、自然を撮影したものでもよいし、都会を撮影したものでもよく、その対象に限定はなくてよい。かかる撮影したものは、予め撮影されてもよいし、リアルタイムに撮影されてもよい。これらの撮影されたものは、管理サーバを介して又は介さずに、視聴者端末に送信されてよい。上述の第２のモードにおいては、アニメーションの生成に必要な情報として、かかる撮影されたものが含まれてよく、かかる撮影されたものを用いて視聴者端末においてアニメーションが生成されてよく、かかるアニメーションは視聴者端末において表示されてよい。また、第１のモードにおいては、かかる撮影されたものを含む映像が管理サーバや配信者端末において生成されてよく、かかる映像は、視聴者端末に送信され、視聴者端末においてかかる撮影されたものを含む映像が表示されてよい。第１モード及び第２モードの切り替えなどについては、上述と同様であって良い。
また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。
１ システム
１０ 通信網
２０（２０Ａ～２０Ｃ） サーバ装置
３０（３０Ａ～３０Ｃ） 端末装置
２１（３１） 演算装置
２２（３２） 主記憶装置
２３（３３） 入出力インタフェイス
２４（３４） 入力装置
２５（３５） 補助記憶装置
２６（３６） 出力装置
４１ 切替部４１
４２ 送信部４２
４３ 受信部４３
４４ 生成部４４
５０ サーバ装置
５１Ａ、５１Ｂ 配信者端末
５２Ａ、５２Ｂ 視聴者端末
１０ 通信網
２０（２０Ａ～２０Ｃ） サーバ装置
３０（３０Ａ～３０Ｃ） 端末装置
２１（３１） 演算装置
２２（３２） 主記憶装置
２３（３３） 入出力インタフェイス
２４（３４） 入力装置
２５（３５） 補助記憶装置
２６（３６） 出力装置
４１ 切替部４１
４２ 送信部４２
４３ 受信部４３
４４ 生成部４４
５０ サーバ装置
５１Ａ、５１Ｂ 配信者端末
５２Ａ、５２Ｂ 視聴者端末
Claims (28)
- コンピュータプログラムであって、
一又は複数のプロセッサにより実行されることにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報と、及び、
音に関する情報と、
を受信し、
受信した前記表示オブジェクトに係る情報における前記表示オブジェクトの描画時間が所定時間よりも短い場合、前記表示オブジェクトに係る情報を前記アニメーションの生成に使用せずに、前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、
ことを特徴とするコンピュータプログラム。 - コンピュータプログラムであって、
一又は複数のプロセッサにより実行されることにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、
前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音に関する情報と、
を受信するが、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報における前記表示オブジェクトの描画時間が所定時間よりも短い場合、前記表示オブジェクトに係る情報を受信せずに、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、
ことを特徴とするコンピュータプログラム。 - コンピュータプログラムであって、
一又は複数のプロセッサにより実行されることにより、
前記一又は複数のプロセッサを備える視聴者端末に係る通信のレイテンシ、前記視聴者端末に係るＣＰＵ、及び／又は、前記視聴者端末上で実行されているアプリケーション数を含む、前記視聴者端末に係る情報を送信し、
前記視聴者端末に係る情報に基づいて選択された、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報と、及び、
音に関する情報と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、
ことを特徴とするコンピュータプログラム。 - 前記表示オブジェクトに係る情報は、ギフトの位置、及び／又は、表示されるギフトの回転角度を含む、
請求項１乃至３のいずれか１項に記載のコンピュータプログラム。 - 前記表示オブジェクトに係る情報に基づくギフトが物理法則を用いて表示される場合、前記表示オブジェクトに係る情報は、前記ギフトが表示される位置、及び／又は、表示されるギフトの回転角度を含む、
請求項１乃至３のいずれか１項に記載のコンピュータプログラム。 - 前記表示オブジェクトに係る情報に基づくギフトが疑似ランダム性を用いて表示される場合、前記表示オブジェクトに係る情報は、前記ギフトの種類を含む、
請求項１乃至３のいずれか１項に記載のコンピュータプログラム。 - 前記表示オブジェクトに係る情報に基づくギフトが疑似ランダム性を用いて表示される場合、前記表示オブジェクトに係る情報は、前記ギフトの種類のみである、
請求項３に記載のコンピュータプログラム。 - 前記表示オブジェクトに係る情報に基づくギフトが疑似ランダム性を用いて表示処理される場合、前記表示オブジェクトに係る情報は、前記ギフトの種類と前記疑似ランダム性のシードを含む、
請求項１乃至３のいずれか１項に記載のコンピュータプログラム。 - 前記アニメーションの生成に必要な情報は、配信者のコメント、視聴者のコメント、及び／又は、前記アニメーションの視聴者数、を含む、
請求項１乃至８のいずれか１項に記載のコンピュータプログラム。 - 前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項１乃至９のいずれか１項に記載のコンピュータプログラム。 - 前記プロセッサが、スマートフォン、タブレット、携帯電話又はパーソナルコンピュータに搭載される、
請求項１乃至１０のいずれか１項に記載のコンピュータプログラム。 - コンピュータプログラムであって、
一又は複数のプロセッサにより実行されることにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音に関する情報と、
を送信し、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報における表示オブジェクトの描画時間が所定時間よりも短い場合、前記表示オブジェクトに係る情報を送信しない、
ことを特徴とするコンピュータプログラム。 - コンピュータプログラムであって、
一又は複数のプロセッサにより実行されることにより、
視聴者端末に係る通信のレイテンシ、前記視聴者端末に係るＣＰＵ、及び／又は、前記視聴者端末上で実行されているアプリケーション数を含む、前記視聴者端末に係る情報を受信し、
前記視聴者端末に係る情報に基づいて、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報と、及び、
音に関する情報と、
を送信する、
ことを特徴とするコンピュータプログラム。 - 前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項１２又は１３に記載のコンピュータプログラム。 - 前記プロセッサが、演算機能を有する、
請求項１２乃至１４のいずれか１項に記載のコンピュータプログラム。 - 一又は複数のプロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音に関する情報と、
を送信し、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報における表示オブジェクトの描画時間が所定時間よりも短い場合、前記表示オブジェクトに係る情報を送信しない、
ことを特徴とするサーバ装置。 - 一又は複数のプロセッサを具備し、
前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
視聴者端末に係る通信のレイテンシ、前記視聴者端末に係るＣＰＵ、及び／又は、前記視聴者端末上で実行されているアプリケーション数を含む、前記視聴者端末に係る情報を受信し、
前記視聴者端末に係る情報に基づいて、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報と、及び、
音に関する情報と、
を送信する、
ことを特徴とするサーバ装置。 - 前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項１６又は１７に記載のサーバ装置。 - 前記プロセッサが、演算機能を有する、
請求項１６乃至１８のいずれか１項に記載のサーバ装置。 - コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
前記プロセッサが、前記命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報と、及び、
音に関する情報と、
を受信し、
受信した前記表示オブジェクトに係る情報における表示オブジェクトの描画時間が所定時間よりも短い場合、前記表示オブジェクトに係る情報を前記アニメーションの生成に使用せずに、前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、
ことを特徴とする方法。 - コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
前記プロセッサが、前記命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音に関する情報と、
を受信するが、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報における表示オブジェクトの描画時間が所定時間よりも短い場合、前記表示オブジェクトに係る情報を受信せずに、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、
ことを特徴とする方法。 - コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
前記プロセッサが、前記命令を実行することにより、
前記一又は複数のプロセッサを備える視聴者端末に係る通信のレイテンシ、前記視聴者端末に係るＣＰＵ、及び／又は、前記視聴者端末上で実行されているアプリケーション数を含む、前記視聴者端末に係る情報を送信し、
前記視聴者端末に係る情報に基づいて選択された、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報と、及び、
音に関する情報と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、
ことを特徴とする方法。 - 前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項２０乃至２２のいずれか１項に記載の方法。 - 前記プロセッサが、演算機能を有する、
請求項２０乃至２３のいずれか１項に記載の方法。 - コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
前記プロセッサが、前記命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音に関する情報と、
を送信し、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報における表示オブジェクトの描画時間が所定時間よりも短い場合、前記表示オブジェクトに係る情報を送信しない、
方法。 - コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
前記プロセッサが、前記命令を実行することにより、
視聴者端末に係る通信のレイテンシ、前記視聴者端末に係るＣＰＵ、及び／又は、前記視聴者端末上で実行されているアプリケーション数を含む、前記視聴者端末に係る情報を受信し、
前記視聴者端末に係る情報に基づいて、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末からの表示要求に応じて表示される表示オブジェクトに係る情報と、及び、
音に関する情報と、
を送信する、
方法。 - 前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項２５又は２６に記載の方法。 - 前記プロセッサが、演算機能を有する、
請求項２５乃至２７のいずれか１項に記載の方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020050781A JP7250721B2 (ja) | 2020-03-23 | 2020-03-23 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
| JP2022040615A JP2022095652A (ja) | 2020-03-23 | 2022-03-15 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020050781A JP7250721B2 (ja) | 2020-03-23 | 2020-03-23 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022040615A Division JP2022095652A (ja) | 2020-03-23 | 2022-03-15 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021149753A JP2021149753A (ja) | 2021-09-27 |
| JP7250721B2 true JP7250721B2 (ja) | 2023-04-03 |
Family
ID=77849097
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020050781A Active JP7250721B2 (ja) | 2020-03-23 | 2020-03-23 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
| JP2022040615A Pending JP2022095652A (ja) | 2020-03-23 | 2022-03-15 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022040615A Pending JP2022095652A (ja) | 2020-03-23 | 2022-03-15 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7250721B2 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006121267A (ja) | 2004-10-20 | 2006-05-11 | Sharp Corp | 連続再生システム |
| WO2015011762A1 (ja) | 2013-07-22 | 2015-01-29 | 株式会社ｆｕｚｚ | 画像生成システムおよび画像生成用プログラム |
| JP6543403B1 (ja) | 2018-12-12 | 2019-07-10 | グリー株式会社 | 動画配信システム、動画配信方法及び動画配信プログラム |
| JP2019195536A (ja) | 2018-05-10 | 2019-11-14 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
| JP2020017244A (ja) | 2018-07-25 | 2020-01-30 | 株式会社バーチャルキャスト | サーバ、方法、プログラム、動画像放送システム |
-
2020
- 2020-03-23 JP JP2020050781A patent/JP7250721B2/ja active Active
-
2022
- 2022-03-15 JP JP2022040615A patent/JP2022095652A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006121267A (ja) | 2004-10-20 | 2006-05-11 | Sharp Corp | 連続再生システム |
| WO2015011762A1 (ja) | 2013-07-22 | 2015-01-29 | 株式会社ｆｕｚｚ | 画像生成システムおよび画像生成用プログラム |
| JP2019195536A (ja) | 2018-05-10 | 2019-11-14 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
| JP2020017244A (ja) | 2018-07-25 | 2020-01-30 | 株式会社バーチャルキャスト | サーバ、方法、プログラム、動画像放送システム |
| JP6543403B1 (ja) | 2018-12-12 | 2019-07-10 | グリー株式会社 | 動画配信システム、動画配信方法及び動画配信プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022095652A (ja) | 2022-06-28 |
| JP2021149753A (ja) | 2021-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6724110B2 (ja) | 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム | |
| US11050977B2 (en) | Immersive interactive remote participation in live entertainment | |
| RU2719454C1 (ru) | Системы и способы для создания, трансляции и просмотра 3d-контента | |
| US9616338B1 (en) | Virtual reality session capture and replay systems and methods | |
| CN111862348B (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
| JP6581742B1 (ja) | Ｖｒ生放送配信システム、配信サーバ、配信サーバの制御方法、配信サーバのプログラム、およびｖｒ生写真データのデータ構造 | |
| JP7496558B2 (ja) | コンピュータプログラム、サーバ装置、端末装置、及び方法 | |
| JP7098676B2 (ja) | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法 | |
| CN113230655B (zh) | 虚拟对象的控制方法、装置、设备、系统及可读存储介质 | |
| JP2024074885A (ja) | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム | |
| JP7360112B2 (ja) | コンピュータプログラム、サーバ装置、端末装置、及び方法 | |
| JP2020144887A (ja) | 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム | |
| CN117425870A (zh) | 虚拟现实中的动态混合现实内容 | |
| JP7250721B2 (ja) | コンピュータプログラム、サーバ装置、端末装置、及び方法 | |
| JP2023095862A (ja) | プログラム及び情報処理方法 | |
| JP2020162084A (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
| JP2023041591A (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
| JP2023065288A (ja) | 情報処理プログラム及び情報処理システム | |
| JP6533022B1 (ja) | 端末、サーバおよびプログラム | |
| US20220053227A1 (en) | Video distribution system, video distribution method, and video distribution program | |
| CN116490249A (zh) | 信息处理装置、信息处理系统、信息处理方法和信息处理终端 | |
| JP7356662B2 (ja) | コンピュータプログラム、及び方法 | |
| JP7442107B2 (ja) | 動画再生装置、動画再生方法、及び動画配信システム | |
| JP7344084B2 (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
| JP7296411B2 (ja) | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230322 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7250721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |